분류 전체보기

EMR Serverless 외부 라이브러리 참조 방법

ecr , 가상환경 압축 후 s3업로드 등등 이있다. 그중 가상환경을 압축하여 전달할 수 있는 방법 소개한다.1. 사전 준비 사항 AWS CLI가 설치 및 설정되어 있어야 합니다. (로컬에서 하는 경우) Python(3.9 등 사용 버전) 및 virtualenv 또는 venv 모듈이 사용 가능한 환경이어야 합니다. 동일한 CPU 아키텍처에서 작업을 진행해야 합니다. 예를 들어, AWS EMR Serverless의 노드가 ARM64 아키텍처라면, 동일한 ARM64 머신(예: Graviton 시리즈(Amazon Linux 2/2023))에서 가상환경을 생성해야 합니다. CPU 아키텍쳐를 이해하는데 도움이 된 글 : 이제는 개발자도 CPU 아키텍처를 구분해야 합니다. (김형섭님) 이제는 개발자도 CPU 아키텍..

sublime text 단축키 정리

아래 표는 Sublime Text 4 (Build 4192 기준)으로 Windows/Linux와 macOS에서 주로 사용되는 단축키들을 정리한 것입니다.(기본 설정 그대로일 때의 단축키이며, 사용자가 Key Bindings를 변경했거나 플러그인에 따라 다를 수 있습니다.) 1. 기본 파일/창 관리기능Windows/LinuxmacOS설명새 파일(탭)Ctrl + NCmd + N새로운 빈 탭(파일) 열기새 창Ctrl + Shift + NCmd + Shift + NSublime Text 새 창 열기파일 열기Ctrl + OCmd + O파일 열기 대화상자파일 저장Ctrl + SCmd + S현재 파일 저장다른 이름으로 저장Ctrl + Shift + SCmd + Shift + S현재 파일을 다른 이름으로 저장닫기(현재..

코드트리 두 달 사용 후기: 실무자가 추천하는 효과적인 코딩테스트 준비법

이 포스팅은 코드트리 x 글또 블로그 챌린지 2기를 통해 코드트리 체험권을 받아 작성한 후기입니다.  안녕하세요. 저는 현재 데이터 엔지니어로 근무하고 있는 개발자입니다.  지난달에 이어 이번 달에도 코드트리 × 글또 블로그 챌린지 2기에 참여하며 두 달간 코드트리를 이용해봤는데요, 이번에는 실무에서 느낀 점과 실제 코딩테스트에 얼마나 도움이 되었는지 공유해 보겠습니다.1. 코드트리의 강점, 맞춤형 학습 커리큘럼코드트리의 가장 큰 장점 중 하나는 실력 진단을 통해 자신의 수준에 맞는 맞춤형 커리큘럼을 제공한다는 점입니다.저는 Intermediate Low 단계에서 시작해 BFS, DFS, DP와 같은 알고리즘 문제를 중점적으로 공부했는데요, 덕분에 실무나 코딩테스트에서 자주 접하는 문제 유형을 보다 체계..

Spark에서 .option("someKey", "someValue") 와 같이 정의되지 않은 옵션을 줘도 에러가 나지 않는 이유

아래 글은 Apache Spark에서 데이터를 읽거나 쓸 때, .option("key", "value") 형태로 임의 옵션을 넘기면 왜 에러가 나지 않고 무시될 수 있는지, 그리고 MongoDB Spark 커넥터처럼 버전에 따라 옵션 이름이 달라질 때 어떤 일이 생기는지 간단히 정리한 포스트입니다.0. 배경Spark에서는 DataFrameReader(또는 DataFrameWriter)를 사용할 때예) df = ( spark.read .format("mongodb") .option("uri", "mongodb://...") .option("pipeline", '[{ "$project": {...} }]') # 예: 파이프라인 옵션 .load()) 이..