분류 전체보기

[인프런] 왕초보도 따라하는 도커 기초 (1)

1 도커와 컨테이너 소개 1.1 도커(Docker) 컨테이너 기술을 지원하는 다양한 프로젝트 중에 하나 컨테이너 기술을 이전에도 있었으나 도커로 인해 알려짐 컨테이너 기술의 사실상 표준 2014 가장 인기 있는 클라우드 오픈 소스 2위(리눅스 재단 발표) 다양한 운영체제에서 사용 가능(리눅스, 윈도우, MacOS) 애플리케이션에 국한 되지 않고 의존성 및 파일 시스템까지 패키징하여 빌드, 배포, 실행을 단순 리눅스의 네임 스페이스와 cgroups와 같은 커널 기능을 사용하여 가상화 도커는 다양한 클라우드 서비스 모델과 같이 사용 가능 이미지: 필요한 프로그램과 라이브러리, 소스를 설치한 뒤 만든 하나의 파일 도커에서 애플리케이션(주피터 노트북, 톰캣,파이썬 등등) 이미지 제공 컨테이너: 이미지를 격리하여..

[Spark] Spark deploy mode 설정(Cluster/Client)

Spark에서 클러스터 매니저로 YARN을 사용하고 있는데, 배포 방식에 따른 차이(리소스 할당 등) 때문에 위 글을 작성하게 되었다. 0. Cluster Mode? Manager가 뭐야?Cluster Manager란? 여러 대의 서버로 구성된 클러스터 환경에서 Spark 애플리케이션이 실행되는 컴퓨터 클러스터의 리소스(Driver와 Executor사이의 자원)를 관리하는 시스템이다. Cluster Manager는 Spark 애플리케이션의 다양한 작업 및 단계에 CPU, 메모리 및 네트워크 대역폭과 같은 리소스를 할당하고 이러한 작업의 실행을 모니터링하여 성공적으로 완료되었는지 확인하는 역할을 한다.배포 방식은 Client mode와 Cluster mode 2가지 이다.드라이버 프로그램이 지역적으로 실..

[인프런] 쿠버네티스 (도커와 쿠버네티스 시작하기)

쿠버네티스란? 컨테이너 기반 오픈 소스 가상화 프로젝트 5.6m(560만명)이 쿠버를 쓴다. 크라우드 네이티브 시스템을 구축하게되면 쿠버네티스 사용하는 비율이 많다. 왜 쿠버야? 클라우드 네이티브를 도입하고 쿠버를 도입하면 조직의 문화를 엄청 변화시키는 것 임. (문제) 교육(러닝커브가 심함, 기존에 있던 인력들은 신기술을 접해보지 못했기 때문에) 문화(마이크로서비스 아키텍쳐 등 개발에 대한 과정을 이해하고 바꿔야함) 보안 (시스템을 바꾸면 안전한가?라는 고민) 클라우드 네이티브란? 클라우드의 장점을 최대한 활용하여 정보 시스템을 구축 및 실행하는 환경 클라우드에 대한 수요는 계속 늘고 있다. (정부에서 사용할 정도로) 클라우드 네이티브 기술, 애플리케이션, 아키텍쳐, 개발방법론, 조직, 프로세스 등 다..

[추천시스템] 성능 평가 지표(pyspark) - Precision, Recall, Map, NDCG

추천시스템에서 랭킹하는 방식으로 좋은 추천(랭킹)을 했는지에 대해 정량평가 할 수 있는 4가지 지표를 정리해보고자 한다. * 이하 코드는 함께 인턴했던 뢀뢀씨❤️와 함께 작성했습니다! 뢀뢀씨 보고 있다면 댓글 달아주세요 1. Precision/ RecallPrecisionK 개 추천했을때, 추천결과가 hit한 precision 평균을 의미순서가 중요하지 않다.모델이 10개를 추천했을때 사용자가 몇개를 봤냐 사실 pyspark에서는 프리시즌을 계산하는 모듈을 제공하는데 생각했던 수식과의 차이 때문에 직접 udf를 제작하게되었다. pyspark 모듈과 udf의 차이는 관련도(relevance)를 매기는 기준이 다르다. pyspark : labeludf : label[:k]예시) prediction : [a,..