분류 전체보기

Docker 컨테이너에서 볼륨 마운트 파일 권한 문제와 해결 방법

Docker를 사용하다 보면, 컨테이너 내부에서 볼륨 마운트된 파일에 접근하려고 할 때 권한 문제가 발생하는 경우가 있습니다. 특히, 기본적으로 설정된 컨테이너 사용자의 UID와 호스트 파일의 소유자가 다를 때 이런 문제가 두드러집니다. 이번 글에서는 이 문제의 원인과 해결 방법을 정리해 보겠습니다. 1. 문제 상황Docker 컨테이너에서 Jupyter 기반의 PySpark 환경(jupyter/pyspark-notebook)을 설정한 후, 호스트 디렉터리를 컨테이너와 공유하기 위해 다음과 같이 볼륨 마운트를 설정했습니다.docker run -d --name dwspark \ -v /home/dawon/projects/spark_notebook/sparkdata:/home/jovyan/sparkdata ..

[AWS] EMR 클러스터 생성 시 정책 설정 디버깅 (클러스터 생성이 되지 않을 때)

0. EMR 클러스터 생성 시 정책 설정 AmazonEMRFullAccessPolicy_v2 정책만으로 EMR 클러스터 생성이 실패하는 상황을 겪으면서 정책에 대해 찾아보게 되었습니다. 이를 통해 EMR 관련 정책과 v2 태그 설정에 대한 내용을 공유해보고자 합니다! Amazon EMR 클러스터를 생성하려면 AmazonEMRFullAccessPolicy_v2 또는 AmazonEMRServicePolicy_v2를 사용을 권장한다고 합니다.이유 -> 전체 액세스를 위한 IAM 관리형 정책(지원 중단 예정) AmazonElasticMapReduceFullAccess 관리형 정책은 지원 중단될 예정이며 더 이상 Amazon EMR에서 사용하지 않는 것이 좋습니다. 대신 AmazonEMRFullAccessPoli..

H3와 S2Cell에 대해 알아보자 (지리 정보 시스템)

지리 데이터 처리와 분석은 다양한 분야에서 중요한 역할을 합니다. 특히 지도 기반 서비스나 위치 기반 애플리케이션에서는 정확한 위치 정보의 빠른 조회가 필수적입니다. 이를 위해서는 지리적 셀 ID를 계산하고, 이를 효율적으로 관리하는 시스템이 필요합니다. 오늘은 H3와 S2Cell을 사용하여 지리적 셀 ID를 계산하는 방법과, 이를 DynamoDB에 저장하는 방식에 대해 살펴보겠습니다.1. 폴리곤 vs S2/H3: 왜 셀 기반 시스템을 써야 할까?많은 개발자들이 처음에는 폴리곤으로 지역을 관리하려고 하는데요, 실제 서비스에서는 S2나 H3 같은 셀 기반 시스템을 더 많이 사용합니다. 이유가 뭘까요?폴리곤 방식의 한계복잡한 지형을 정확히 표현할 수 있지만, 연산 비용이 매우 높음인덱싱이 어려워 대량의 위치..

글또 10기를 참여하면서 다짐 (2024.10 ~ )

글또를 시작하며 쓰게되는 3번째 다짐글 입니다 글또 10기를 참여하면서글또라는 커뮤니티를 알게되었을 때가 2023년 2월이다. 글또를 23년에 시작했다니! 체감상 한 3년은 된거같은데 신기하다 ㅎㅎ그래도 나 자신, 두 기수동안 예치금을 더 벌어서 항상 11만원 꽉채워 졸업했다. (왕뿌듯)2023.02.04 : 글또 8기 (다짐글)2023.12.10 : 글또 9기 (다짐글)2024.10.11 : 글또 10기이번에 참여를 하면서 이전에 썼던 다짐글을 읽어보았다.그때 다짐글을 열심히 써놓고 금방 까먹어버렸던건지바로 이룬 것들도 있고, 미루고 미루다 이뤄진 것들, 이루지 못한 것들도 눈에 보이는게 재밌다.  그래도 1년 반이라는 시간을 뒤돌아봤을 때 글또에 참여하기 전보다 지금의 내가 더 성장해있고 내가 꿈꾸던..