티스토리

devvon

검색하기

블로그 홈

devvon

pickwon.tistory.com/m

wonpick 님의 블로그입니다.

구독자: 4

방명록 방문하기

주요 글 목록

Docker 컨테이너에서 볼륨 마운트 파일 권한 문제와 해결 방법 Docker를 사용하다 보면, 컨테이너 내부에서 볼륨 마운트된 파일에 접근하려고 할 때 권한 문제가 발생하는 경우가 있습니다. 특히, 기본적으로 설정된 컨테이너 사용자의 UID와 호스트 파일의 소유자가 다를 때 이런 문제가 두드러집니다. 이번 글에서는 이 문제의 원인과 해결 방법을 정리해 보겠습니다. 1. 문제 상황Docker 컨테이너에서 Jupyter 기반의 PySpark 환경(jupyter/pyspark-notebook)을 설정한 후, 호스트 디렉터리를 컨테이너와 공유하기 위해 다음과 같이 볼륨 마운트를 설정했습니다.docker run -d --name dwspark \ -v /home/dawon/projects/spark_notebook/sparkdata:/home/jovyan/sparkdata .. 공감수 0 댓글수 0 2024. 12. 10.
[AWS] EMR 클러스터 생성 시 정책 설정 디버깅 (클러스터 생성이 되지 않을 때) 0. EMR 클러스터 생성 시 정책 설정 AmazonEMRFullAccessPolicy_v2 정책만으로 EMR 클러스터 생성이 실패하는 상황을 겪으면서 정책에 대해 찾아보게 되었습니다. 이를 통해 EMR 관련 정책과 v2 태그 설정에 대한 내용을 공유해보고자 합니다! Amazon EMR 클러스터를 생성하려면 AmazonEMRFullAccessPolicy_v2 또는 AmazonEMRServicePolicy_v2를 사용을 권장한다고 합니다.이유 -> 전체 액세스를 위한 IAM 관리형 정책(지원 중단 예정) AmazonElasticMapReduceFullAccess 관리형 정책은 지원 중단될 예정이며 더 이상 Amazon EMR에서 사용하지 않는 것이 좋습니다. 대신 AmazonEMRFullAccessPoli.. 공감수 0 댓글수 0 2024. 11. 24.
H3와 S2Cell에 대해 알아보자 (지리 정보 시스템) 지리 데이터 처리와 분석은 다양한 분야에서 중요한 역할을 합니다. 특히 지도 기반 서비스나 위치 기반 애플리케이션에서는 정확한 위치 정보의 빠른 조회가 필수적입니다. 이를 위해서는 지리적 셀 ID를 계산하고, 이를 효율적으로 관리하는 시스템이 필요합니다. 오늘은 H3와 S2Cell을 사용하여 지리적 셀 ID를 계산하는 방법과, 이를 DynamoDB에 저장하는 방식에 대해 살펴보겠습니다.1. 폴리곤 vs S2/H3: 왜 셀 기반 시스템을 써야 할까?많은 개발자들이 처음에는 폴리곤으로 지역을 관리하려고 하는데요, 실제 서비스에서는 S2나 H3 같은 셀 기반 시스템을 더 많이 사용합니다. 이유가 뭘까요?폴리곤 방식의 한계복잡한 지형을 정확히 표현할 수 있지만, 연산 비용이 매우 높음인덱싱이 어려워 대량의 위치.. 공감수 1 댓글수 1 2024. 11. 10.
글또 10기를 참여하면서 다짐 (2024.10 ~ ) 글또를 시작하며 쓰게되는 3번째 다짐글 입니다 글또 10기를 참여하면서글또라는 커뮤니티를 알게되었을 때가 2023년 2월이다. 글또를 23년에 시작했다니! 체감상 한 3년은 된거같은데 신기하다 ㅎㅎ그래도 나 자신, 두 기수동안 예치금을 더 벌어서 항상 11만원 꽉채워 졸업했다. (왕뿌듯)2023.02.04 : 글또 8기 (다짐글)2023.12.10 : 글또 9기 (다짐글)2024.10.11 : 글또 10기이번에 참여를 하면서 이전에 썼던 다짐글을 읽어보았다.그때 다짐글을 열심히 써놓고 금방 까먹어버렸던건지바로 이룬 것들도 있고, 미루고 미루다 이뤄진 것들, 이루지 못한 것들도 눈에 보이는게 재밌다. 그래도 1년 반이라는 시간을 뒤돌아봤을 때 글또에 참여하기 전보다 지금의 내가 더 성장해있고 내가 꿈꾸던.. 공감수 12 댓글수 7 2024. 10. 12.
[Udemy] 【한글자막】 Spring Boot 3 & Spring Framework 6 마스터하기! [최신판] 0. 수업을 듣게 된 계기 글또라는 커뮤니티에 참여하면서 udemy 강의를 선택해 들을 수 있게 되었습니다. 여러 강의 리스트 중 Spring에 대한 학습을 해보고 싶어 【한글자막】 Spring Boot 3 & Spring Framework 6 마스터하기! [최신판] 를 선택하여 수강하였습니다. 금액 : 99,000원학습 시간 : 38h "한글자막 Spring Boot 3 & Spring Framework 6 마스터하기! [최신판]"은 Spring Boot Framework와 Spring Framework를 이용하여 웹 애플리케이션, REST API, 풀 스택 애플리케이션을 구축하는 방법에 대한 포괄적인 강의입니다. 이 강의는 사전 경험이 필요하지 않으며, 실제 프로젝트에서 사용되는 최신 기술을 배울 .. 공감수 0 댓글수 0 2024. 5. 12.
[python] - 같은 숫자는 싫어(lv.1) 문제 ) 프로그래머스 - 같은 숫자는 싫어(lv.1) 📍문제 설명배열 arr가 주어집니다. 배열 arr의 각 원소는 숫자 0부터 9까지로 이루어져 있습니다. 이때, 배열 arr에서 연속적으로 나타나는 숫자는 하나만 남기고 전부 제거하려고 합니다. 단, 제거된 후 남은 수들을 반환할 때는 배열 arr의 원소들의 순서를 유지해야 합니다. 예를 들면,- arr = [1, 1, 3, 3, 0, 1, 1] 이면 [1, 3, 0, 1] 을 return 합니다.- arr = [4, 4, 4, 3, 3] 이면 [4, 3] 을 return 합니다.배열 arr에서 연속적으로 나타나는 숫자는 제거하고 남은 수들을 return 하는 solution 함수를 완성해 주세요. 📍 제한 사항배열 arr의 크기 : 1,000,00.. 공감수 0 댓글수 0 2024. 5. 3.
[Udemy] 실무 활용 중심의 MySQL 부트캠프 강의 후기 0. 수업을 듣게 된 계기 글또라는 커뮤니티에 참여하면서 udemy 강의를 선택해 들을 수 있게 되었습니다.여러 강의 리스트 중 데이터베이스에 대한 학습을 해보고 싶어 【한글자막】 실무 활용 중심의 MySQL 부트캠프를 선택하여 수강하였습니다. 금액 : 99,000원학습 시간 : 17h 58m 이 강의는 데이터베이스, SQL, MySQL에 대한 기초부터 실무 활용까지 종합적으로 다루는 강의입니다. 단순한 SQL 문법 학습을 넘어 데이터 분석, 보고서 작성, 데이터베이스 설계 및 구현 등 실무에 바로 적용할 수 있는 내용으로 구성되어 있습니다. 특히 대용량 데이터 처리 실습을 통해 실무 능력 향상에 도움을 줍니다.MySQL은 데이터베이스 관리 시스템(RDBMS)의 한 종류로, 현재는 웹 애플리케이션, 모.. 공감수 0 댓글수 0 2024. 4. 28.
[Linux] sed 명령어로 여러개의 파일 문자열 변경하기 find ./ -name "conf.*" | grep -r "문자열" find ./ -name "conf.*" -exec sed -i "s/변경 전/변경 후/g" {} + ### sed 옵션 #-e 옵션: 스크립트를 지정합니다. 여러 개의 스크립트를 지정할 때 사용합니다. #-f 파일: 스크립트 파일을 지정합니다. #-i: 원본 파일을 직접 수정합니다. 백업 파일을 만들지 않고 원본 파일을 수정할 때 사용합니다. #-n: 출력을 자동으로 하지 않습니다. 스크립트에 의해 출력되는 것만 출력합니다. #-r: 정규 표현식을 확장합니다. 이 옵션을 사용하면 특수 문자를 이스케이프하지 않고도 사용할 수 있습니다. #-u: BSD 확장 모드로 실행합니다. BSD sed와 호환성을 제공합니다. #-V: 버전 정보를 .. 공감수 0 댓글수 0 2024. 4. 22.
05장 복제 5장의 핵심 내용 노드 간 변경을 복제하기 위한 세 알고리즘 : 단일 리더, 다중 리더, 리더 없는 복제 복제 시 고려해야 할 트레이드오프 : 동기식 vs 비동기식, 잘못된 복제본 처리 방법. 복제 지연 문제 : 쓰기 후 읽기 일관성 & 단조 읽기 보장 & 일관된 순서로 읽기 보장 들어가기에 앞서 1부에서는 DB가 1개 일때만 생각했는데, 2부에서는 DB가 여러개인 케이스들을 볼것이다. 이번 장에서는 데이터 셋이 아주 작아 각 장비에 전체 데이터셋의 복사본을 보유할 수 있다고 가정하여 복제본을 만들었을 때의 다양한 종류의 장애와 대처 방법에 대해 다룰 것이다. (데이터의 용량, 컴퓨터의 용량 한계는 고려하지 않고 장비 1대에 모든 데이터를 저장할 수 있다는 가정이다.) 이번 장에서는 데이터 셋이 아주 작.. 공감수 0 댓글수 1 2024. 4. 14.
04장 부호화와 발전 데이터 중심 어플레케이션 설계 스터디를 진행하며 작성한 글 입니다. 스터디원: 7명 서적: 데이터 중심 어플리케이션 설계 서론 데이터 부호화란(Data Encoding)? 필요성 : 데이터부호화 형식에 따라 human-readable(사람이 읽기에 좋은), 데이터 압축률(가용성 증가, 통신 성능 증가), 호환성 유지에 영향을 줄 수 있기 때문 호환성이 중요한 이유 서버 단 애플리케이션: 대규모 시스템에서는 트래픽 처리를 위해 여러 개 서버군이 한 역할을 하는데 여기서 무중단 배포를 위해서 이전 버전 서버, 새 버전 서버가 공존할수밖에 없다. 클라이언트 단 애플리케이션: 사용자에게 전적으로 좌우된다. 사용자가 업데이트 하지 않으면 적용할 수 없다. 애플리케이션은 시간이 지나면서 점점 변한다. 이 변화에 D.. 공감수 0 댓글수 0 2024. 3. 31.
03장 저장소와 검색DB란 데이터 중심 어플레케이션 설계 스터디를 진행하며 작성한 글 입니다. 스터디원: 7명 서적: 데이터 중심 어플리케이션 설계 들어가기에 앞서 관계형 DB와 NoSQL DB에 사용되는 저장소 엔진에 대해 공부한다. 로그 구조(log-structured) 계열 저장소 엔진과 (B-tree 같은) 페이지 지향(page-oriented) 계열 저장소 엔진을 검토한다. DB란 DB작업 data 저장 ,data 요청 시 제공 개발자가 DB 내 저장 및 검색 처리 방법을 주의해야하는 이유 처음부터 저장소 엔진을 구현하는 것이 아닌, 사용 가능한 여러 저장소 엔진 중 가장 적합한 엔진을 선택해야 하기 때문 ( 작업 부하에 맞춰 최적화 된 저장소 엔진/ 분석 위해 최적화된 엔진 차이) DB를 강력하게 만드는 데이터 구조 D.. 공감수 0 댓글수 0 2024. 3. 3.
02장 데이터 모델과 질의언어 데이터 중심 어플레케이션 설계 스터디를 진행하며 작성한 글 입니다. 스터디원: 7명 서적: 데이터 중심 어플리케이션 설계 서론 데이터 모델은 소프트웨어 개발에서 제일 중요한 부분일 것이다. SW가 어떻게 작성됐는지 뿐만 아니라 해결하려는 문제를 어떻게 생각해야 하는지에 대해서도 영향을 미치기 때문이다. 대부분의 애플리케이션은 하나의 데이터 모델을 다른 데이터 모델 위에 계층을 둬서 만든다. (각 계층의 핵심 문제: 다음 하위 계층에서 데이터 모델 표현하는 방법) 애플리케이션 개발자는 현실(사람, 조직, 상품, 센서, 자금 흐름 등)을 보고 객체나 데이터 구조 그리고 이러한 데이터 구조를 다루는 API를 모델링한다. 데이터 구조를 저장할 때는 JSON, XML 문서. 관계형 데이터 베이스 테이블이나 그래프.. 공감수 1 댓글수 1 2024. 2. 18.
[CKA] 2024 시험 합격 후기 0. 시험 팁 시험 시간 : 2 시간 시험 유형 : Hands-on Practical Lab(온라인 시험) 시험 가격 : $395 linuxfoundation에서 15% 할인 쿠폰은 상시 지급 11월 쯤 사이버먼데이 50% 쿠폰을 발급하므로 11월에 구매하여 응시하시는 것을 추천드립니다. (정가는 50만원이 넘는데 저는 사이버먼데이를 통해 당시 $197.5, 한화로 26만원 정도를 결제했습니다.) CERTIFIED KUBERNETES ADMINISTRATOR (CKA) 시험 합격 : 100점 만점에 66점 이상 시험 유효기간 : 3년 참고로 24년 3월까지만 3년이고 이후에 취득할 경우 2년으로 유효기간이 변경됩니다!! 4월전에 꼭 시험 응시하세요!! 시험 가능 회수 : 2회 1년이내 2회모두 응시해야되.. 공감수 5 댓글수 5 2024. 2. 4.
[CKA] 실습/개념 정리 다음은 CKA 시험 준비를 하면서 따배쿠/kodekloud 실습한 내용을 정리한 자료이다. 관련된 개념은 계속해서 추가해볼 예정이다. 1. pv hostpath 볼륨 마운트 (2점) apiVersion: v1 kind: PersistentVolume metadata: name: pv001 spec: capacity: storage: 1Gi volumeMode: Filesystem accessModes: - ReadWriteMany hostPath: path: /tmp/app-config 2. 기존 팟 수정해서 볼륨에 로그 저장하는 사이드카 컨테이너 붙이기 (커맨드 추가) (5점) 질문 웹서버 nginx 컨테이너를 동작시켜보자 nginx는 사용자가 접속하게 되면 /var/log/html 안에 access/.. 공감수 1 댓글수 0 2024. 1. 20.
01장 신뢰할 수 있고 확장 가능하며 유지보수하기 쉬운 애플리케이션 데이터 중심 어플레케이션 설계 스터디를 진행하며 작성한 글 입니다. 스터디원: 7명 서적: 데이터 중심 어플리케이션 설계 1. 데이터 중심 애플리케이션 많은 애플리케이션은 계산 중심(compute-intensive) 보다 데이터 중심(data-intensive) 이다. CPU성능은 애플리케이션을 제한하는 요소가 아니며 더 큰 문제는 데이터의 양, 복잡도, 변화 속도가 더 큰 문제이다 1) 데이터 시스템 데이터 시스템의 기초 관련자의 기술 숙련도, 기존 시스템의 의존성, 전달 시간 척도, 다양한 종류의 위험에 대한 조직의 내성, 규제 제약 등은 시스템 설계에 영향을 줄 수 있는 많은 요소이다. (대부분의 소프트웨어 시스템이 중요하게 여기는 3가지 : 신뢰성, 확장성, 유지보수성) 1.내부적으로 문제가 있어.. 공감수 0 댓글수 1 2024. 1. 7.
[후기] 2023 Re:Invent 참여후기 및 꿀팁! 0. Re:Invent ABW Grant 정말 운 좋게 2023/11/27 ~ 12/1 까지 그랜트 프로그램에 선발되어, 리인벤트 행사에 다녀올 수 있었습니다.재작년부터 정말 참여하고 싶은 프로그램이었는데 지원을 망설이다가, 그랜트 선배 및 많은 분들의 도움으로용기내 했던 첫 지원에 선발이 되어 저도 지원 예정자분들에게 도움이 되보고자 후기글을 작성하게 되었습니다!아래 내용 혹은 그 외로 더 궁금한 점이 있으시면 편하게 질문 주시면 좋을거 같아요!! re:invent 프로그램이란? AWS에서 주최하는 컨퍼런스 입니다. 2,400개 이상의 기술 세션, 파트너 엑스포, 교육, 커뮤니티 세션 등등의 행.. 공감수 3 댓글수 1 2023. 12. 24.
글또 9기를 시작하며 글또 8기 활동을 지나 어느덧 9기 활동을 시작하게 되었다. 글또 9기 오티 때 리인벤트 행사 때문에 미국에 있었는데, 시차 때문에 새벽에 일어나 비몽사몽한채로 참여하며 설문조사를 했던 기억이 난다. 오티 참여를 못할까봐 걱정이 컸는데 우여곡절 끝에 참여를 하게 되었다! (귀국한지 이제 5일차여서 시차적응도 안되고 정신도 없지만 글또 글 작성 덕에 이 시간에 깨어있을 수 있어 오히려 좋은 것 같다 항상 퇴근하자마자 기절, 새벽 1-3시에 일어나는 루틴이 반복 되었는데 이제는 적응하고 싶다ㅠㅠ ) 23년을 돌이키며 23년은 나에게 정말 많은 깨달음을 준 해였다. 내가 원하는게 뭔지 진지하게 고민하고 방향을 정해 행동을 시작했고, 글또라는 커뮤니티에서 직장 생활에 많은 조언과 도움을 받아 커뮤니티의 힘을 더.. 공감수 0 댓글수 0 2023. 12. 10.
[k8s] The connection to the server localhost:8080 was refused 해결방법 문제 마스터노드에서의 kubectl 관련 config가 설정이 되지 않았기 때문 해결 방법 kubeadmin으로 구축한 클러스터에 접근할 때 1) 마스터 노드에서 에러가 발생한 경우 : /etc/kubernetes/admin.conf 파일을 $HOME/.kube/config로 복사 후 소유자 변경을 해준다. $ mkdir -p $HOME/.kube $ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config $ sudo chown $(id -u):$(id -g) $HOME/.kube/config 2) 마스터노드가 아닌 곳에서 에러가 발생한 경우 : 마스터노드(서버)에 생성된 $HOME/.kube/config 파일을 접근을 시도하는 서버의 $HOME/.kube .. 공감수 0 댓글수 0 2023. 9. 9.
[K8S] Context ? context 란? 쿠버네티스 클러스터를 관리하는 CLI 도구인 kubectl에는 환경을 바꿔가며 Config 파일을 이용하여 클러스터를 관리할 수 있는 context 라는 기능이 존재한다. CLI를 활용하여 어느 쿠버네티스 클러스터를 컨트롤할지 결정할 수 있다. kubectl config k8s설정은 다음과 같다. kubeconfig 내용 확인 : kubectl config view apiVersion: v1 clusters: - cluster: certificate-authority-data: DATA+OMITTED server: https://xxx.xxx.xxx:6443 name: kubernetes contexts: - context: cluster: kubernetes user: kuberne.. 공감수 0 댓글수 0 2023. 9. 9.
[kodekloud] 05 Practice Test Cluster Upgrade Process 풀이 Q1. This lab tests your skills on upgrading a kubernetes cluster. We have a production cluster with applications running on it. Let us explore the setup first. What is the current version of the cluster? A1. v1.26.0 Q2. How many nodes are part of this cluster? Including controlplane and worker nodes A2. 2 Q3. How many nodes can host workloads in this cluster? Inspect the applications and taints .. 공감수 0 댓글수 0 2023. 8. 24.
[Spark] Parquet 파일을 읽는 동안 Dataframe의 메타데이터 변경 에러 이 포스팅에서는 Parquet 파일을 읽는 동안 Dataframe의 메타데이터가 수정 되었을 경우 "REFRESH TABLE tableName"에러가 뜨는 문제를 어떻게 해결할 수 있는지 알아보겠습니다. 기존의 모든 배치에서는 동일 파티션에 대해 .mode("overwrite")를 사용하기 때문에, 프로세스가 실행되는 동안 수정/삭제된 파일을 읽으려고 시도하게 되면 메타데이터가 변경되었다는 "REFRESH TABLE tableName" 에러가 발생합니다. 이로 인해 해당 파티션이 저장 중 상태인 temporary 에서는 테이블을 사용할 수 없게 됩니다. 따라서 아래와 같이 메타데이터를 메모리 위에 올려주거나 다른 dump와 같은 경로에 저장을 하는 방법 등으로 해결할 수 있습니다. 저는 그 중 DataF.. 공감수 1 댓글수 0 2023. 7. 16.
[SPARK] SPARK에서 대량의 스몰 파일이 생성되는 문제 해결 서론 데이터를 적재하는 과정에서 하둡 네임노드 부하 방지 목적으로 HDFS 상의 대량으로 생성된 스몰 파일을 확인하여 삭제 요청을 받고 있다. 단순히 파일을 삭제하여 해결할수도 있겠지만, 스몰파일이란 무엇이며 왜 발생하고 어떠한 이유 때문에 문제가 되는지 알아보도록 하겠다. 0. 스몰 파일이란? 스몰 파일은 블록 크기보다 작은 파일을 의미한다. 하둡 클러스터의 블록 크기와 비교하여 판단되기 때문에, 스몰 파일의 크기 기준은 상대적이다. 기본적으로 하둡 클러스터에서는 블록(Block) 크기가 보통 64MB 또는 128MB로 설정되어 있다. 일부 경우에는 1MB 미만의 파일도 스몰 파일로 간주할 수 있으며, 다른 경우에는 10MB 이상의 파일부터 스몰 파일로 간주할 수도 있다. 1. 스몰 파일을 왜 지워야되.. 공감수 1 댓글수 0 2023. 6. 18.
[Python] 디버깅 모듈 pdb pdb는 파이썬 코드를 디버깅할 때 사용하는 모듈이다. 이 모듈을 사용하면 중단점(breakpoint) 설정, 소스 리스팅, 변수 치환, 콜 스택 검사 등의 다양한 기능을 사용할 수 있다. 특히나 머신러닝과 같이 피쳐 사이즈에 민감한 개발의 경우 python debugger가 매우 큰 도움이 될 수 있다. 파이썬 디버거 예제 pdb 모듈은 파이썬 표준 라이브러리의 일부이기 때문에 별도 설치가 필요없다. Python 디버깅 모듈을 사용하면 매 순간 변수값을 알아낼 수 있고, 직접 trace를 볼 수도 있다. import pdb x=0 while True: x+=1 print ("Current number:", x) pdb.set_trace() 파이썬 3.7 버전 이후부터는 기존의 pdb.set_trace.. 공감수 0 댓글수 0 2023. 5. 21.
2. 군집화 (Clustering) - 알고리즘 1. 군집화란? 유사한 속성들을 갖는 관측치들을 묶어 전체 데이터를 몇 개의 군집으로 나누는 것. 좋은 군집화는 동일한 군집에 소속된 데이터는 서로 유사하게(inter-class similarity), 상이한 군집에 소속된 데이터는 서로 다르게(intra-class dissimilarity) 군집화하는 것이다. Inter class similarity Intra-class similarity Class간의 분산 Differ is better Centroid/Border 간 거리가 멀수록 Class 내부의 분산 Similar is better 분산의 값이 작을 수록 Centroid-border간 거리가 가까울 수록 2. 군집화 수행 시 주요 고려사항 어떤 거리 척도를 사용하여 유사도를 측정할 것인가? 어.. 공감수 0 댓글수 0 2023. 5. 7.
1. 군집화 (Clustering) - 유사도 측정 기법 1. 군집화란? 유사한 속성들을 갖는 관측치들을 묶어 전체 데이터를 몇 개의 군집으로 나누는 것. 좋은 군집화는 동일한 군집에 소속된 데이터는 서로 유사하게(inter-class similarity), 상이한 군집에 소속된 데이터는 서로 다르게(intra-class dissimilarity) 군집화하는 것이다. Inter class similarity Intra-class similarity Class간의 분산 Differ is better Centroid/Border 간 거리가 멀수록 Class 내부의 분산 Similar is better 분산의 값이 작을 수록 Centroid-border간 거리가 가까울 수록 2. 군집화 수행 시 주요 고려사항 어떤 거리 척도를 사용하여 유사도를 측정할 것인가? 어.. 공감수 0 댓글수 0 2023. 4. 23.
[추천시스템] Learning To Rank(LTR) 1. LTR이란? 추천 시스템에 있어서 추천 방식을 2가지로 나눠보자면 아래와 같다. 평점 예측 : rating matrix prediction 랭킹 예측: top-k prediction 평점 예측과 랭킹 예측의 가장 큰 차이는, 랭킹 예측이 유저가 더 선호할 만한 상품을 우선 순위에 랭킹하여 선호 관계를 잘 맞추는게 중요하다는 것이다. A possible architecture of a machine-learned search engine. n개의 유저에 대해서 각 item에 대한 m개의 feaure가 정해지고 n개의 relevance score로 학습 데이터를 생성하게 된다. 이때 학습 시킨 모델에 테스트 데이터를 넣어 relevance score를 예측하게 된다. 예측값의 정의에 따라 랭킹이 결정 .. 공감수 1 댓글수 1 2023. 4. 9.
[추천시스템] Learning To Rank(LTR) 1. LTR이란? 추천 시스템에 있어서 추천 방식을 2가지로 나눠보자면 아래와 같다. 평점 예측 : rating matrix prediction 랭킹 예측: top-k prediction 평점 예측과 랭킹 예측의 가장 큰 차이는, 랭킹 예측이 유저가 더 선호할 만한 상품을 우선 순위에 랭킹하여 선호 관계를 잘 맞추는게 중요하다는 것이다. n개의 유저에 대해서 각 item에 대한 m개의 feaure가 정해지고 n개의 relevance score로 학습 데이터를 생성하게 된다. 이때 학습 시킨 모델에 테스트 데이터를 넣어 relevance score를 예측하게 된다. 예측값의 정의에 따라 랭킹이 결정 되기 때문에, learning to rank에서 가장 중요한 점은 어떠한 손실함수(loss function).. 공감수 0 댓글수 0 2023. 4. 9.
[인프런] 왕초보도 따라하는 도커 기초 (2) 리눅스(네이티브 가능) 위에 설치하지 않고 윈도우/맥에 도커 설치 할 경우 가상머신 위에서 동작하게 된다. 3 내가 원하는 이미지 찾기 3.1 도커 레지스트리 도커 레지스트리에는 사용자가 사용할 수 있도록 데이터베이스를 통해 Image를 제공해주고 있음 누구나 이미지를 만들어 푸시할 수 있으며 푸시된 이미지는 다른 사람들에게 공유 가능 이미지는 static한 상태로서 실행이 될 수 없다. 실행시킬려면 컨테이로 바꿔줘야 한다. 웹 페이지를 어떻게 구성하는지 몰라도 컨테이너 애플리케이션만 실행하면 웹 페이지가 구동된다. (톰캣으로 실행해서 웹페이지 띄운다.) 3.2 도커 퍼블릭 레지스트리 검색 및 확인 레지스트리를 간단하게 확인하려면 도커 서치를 활용해서 원하는 이미지를 찾을 수도 있지만, https://h.. 공감수 0 댓글수 0 2023. 3. 30.
[인프런] 왕초보도 따라하는 도커 기초 (1) 1 도커와 컨테이너 소개 1.1 도커(Docker) 컨테이너 기술을 지원하는 다양한 프로젝트 중에 하나 컨테이너 기술을 이전에도 있었으나 도커로 인해 알려짐 컨테이너 기술의 사실상 표준 2014 가장 인기 있는 클라우드 오픈 소스 2위(리눅스 재단 발표) 다양한 운영체제에서 사용 가능(리눅스, 윈도우, MacOS) 애플리케이션에 국한 되지 않고 의존성 및 파일 시스템까지 패키징하여 빌드, 배포, 실행을 단순 리눅스의 네임 스페이스와 cgroups와 같은 커널 기능을 사용하여 가상화 도커는 다양한 클라우드 서비스 모델과 같이 사용 가능 이미지: 필요한 프로그램과 라이브러리, 소스를 설치한 뒤 만든 하나의 파일 도커에서 애플리케이션(주피터 노트북, 톰캣,파이썬 등등) 이미지 제공 컨테이너: 이미지를 격리하여.. 공감수 0 댓글수 0 2023. 3. 30.
[Spark] Spark deploy mode 설정(Cluster/Client) Spark에서 클러스터 매니저로 YARN을 사용하고 있는데, 배포 방식에 따른 차이(리소스 할당 등) 때문에 위 글을 작성하게 되었다. 0. Cluster Mode? Manager가 뭐야? Cluster Manager란? 여러 대의 서버로 구성된 클러스터 환경에서 Spark 애플리케이션이 실행되는 컴퓨터 클러스터의 리소스(Driver와 Executor사이의 자원)를 관리하는 시스템이다. Cluster Manager는 Spark 애플리케이션의 다양한 작업 및 단계에 CPU, 메모리 및 네트워크 대역폭과 같은 리소스를 할당하고 이러한 작업의 실행을 모니터링하여 성공적으로 완료되었는지 확인하는 역할을 한다. 배포 방식은 Client mode와 Cluster mode 2가지 이다. 드라이버 프로그램이 지역적으.. 공감수 0 댓글수 0 2023. 3. 26.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.