개발

EMR Serverless 외부 라이브러리 참조 방법

ecr , 가상환경 압축 후 s3업로드 등등 이있다. 그중 가상환경을 압축하여 전달할 수 있는 방법 소개한다.1. 사전 준비 사항 AWS CLI가 설치 및 설정되어 있어야 합니다. (로컬에서 하는 경우) Python(3.9 등 사용 버전) 및 virtualenv 또는 venv 모듈이 사용 가능한 환경이어야 합니다. 동일한 CPU 아키텍처에서 작업을 진행해야 합니다. 예를 들어, AWS EMR Serverless의 노드가 ARM64 아키텍처라면, 동일한 ARM64 머신(예: Graviton 시리즈(Amazon Linux 2/2023))에서 가상환경을 생성해야 합니다. CPU 아키텍쳐를 이해하는데 도움이 된 글 : 이제는 개발자도 CPU 아키텍처를 구분해야 합니다. (김형섭님) 이제는 개발자도 CPU 아키텍..

sublime text 단축키 정리

아래 표는 Sublime Text 4 (Build 4192 기준)으로 Windows/Linux와 macOS에서 주로 사용되는 단축키들을 정리한 것입니다.(기본 설정 그대로일 때의 단축키이며, 사용자가 Key Bindings를 변경했거나 플러그인에 따라 다를 수 있습니다.) 1. 기본 파일/창 관리기능Windows/LinuxmacOS설명새 파일(탭)Ctrl + NCmd + N새로운 빈 탭(파일) 열기새 창Ctrl + Shift + NCmd + Shift + NSublime Text 새 창 열기파일 열기Ctrl + OCmd + O파일 열기 대화상자파일 저장Ctrl + SCmd + S현재 파일 저장다른 이름으로 저장Ctrl + Shift + SCmd + Shift + S현재 파일을 다른 이름으로 저장닫기(현재..

Docker Jupyter 컨테이너에서 볼륨 마운트 시 권한 문제 발생 및 해결

매번 컨테이너 생성 할 때마다 호스트(ec2-user)와 컨테이너 내부(jovyan)의 권한이 일치하지 않아 에러가 발생해 해결과정을 기록해본다. 구체적으로는 EC2에서 SSH로 접속한 ec2-user가 컨테이너 내부의 /home/jovyan/work 디렉토리 (호스트 디렉토리로 볼륨마운트) 에 대한 변경 권한이 없었기 때문에발생한 문제로 어떻게 해결했는지 기록합니다. 1. 문제의 핵심 정리EC2에서 SSH 접속 시, 기본적으로 호스트의 ec2-user(UID=1000, GID=1000)로 로그인.Docker 컨테이너 내부의 jovyan은 UID=1000, GID=100(users)./home/jovyan/work 디렉토리의 소유자가 root 로 되어 있어서 jovyan도 변경할 수 없는 상태였음.cho..

Docker 컨테이너에서 볼륨 마운트 파일 권한 문제와 해결 방법

Docker를 사용하다 보면, 컨테이너 내부에서 볼륨 마운트된 파일에 접근하려고 할 때 권한 문제가 발생하는 경우가 있습니다. 특히, 기본적으로 설정된 컨테이너 사용자의 UID와 호스트 파일의 소유자가 다를 때 이런 문제가 두드러집니다. 이번 글에서는 이 문제의 원인과 해결 방법을 정리해 보겠습니다. 1. 문제 상황Docker 컨테이너에서 Jupyter 기반의 PySpark 환경(jupyter/pyspark-notebook)을 설정한 후, 호스트 디렉터리를 컨테이너와 공유하기 위해 다음과 같이 볼륨 마운트를 설정했습니다.docker run -d --name dwspark \ -v /home/dawon/projects/spark_notebook/sparkdata:/home/jovyan/sparkdata ..