STUDY

[정리] 최신 데이터 인프라 이해하기_#2 데이터 소스

SOURCES - 소스들은 회사에서 발생하는 데이터를 저장하는 공간이라고도 볼 수 있지만, 저장 뿐만 아니라 발생하는 원본 소스들을 다른 곳으로 보낼 수 있는, 데이터가 생성되는 곳이다. 1.OLTP DB via CDC - OLTP: 은행 계좌에서 이체할때 (A->B, 2가지 오퍼레이션이 일어나야지 성립). 정규화된 데이터 - OLAP: 데이터 웨어하우스에서 처리하는거랑 비슷, 복잡한 분석쿼리를 달리는 것. 정규화되지 않은 데이터(복잡한 분석쿼리 날림) - CDC (change data capture): OLTP에서는 업데이트되는 일이 일어남.이러한 업데이트된 내용들만 다른 외부 DB로 복사하는 기술 OLTP DB는 트랜잭션을 기록하는데만 집중해있고 그걸 다른 곳에 쓰지 못함. OLTP 데이터를 가져다가..

[정리] 최신 데이터 인프라 이해하기_#1 기본 개념과 단어 설명

영상 목차 ( 긱뉴스 - 최신 데이터 인프라 이해하기 ) #1 기본 개념과 단어 설명 #2 데이터 소스(OLTP, CDC, ERP, CRM, Event Collector, Segment, Snowplow, Rudderstack) #3 - ETL/ELT 도구들(Fivetran, Stitch, Matillion, Panoply) #4 - 데이터 모델링과 워크플로우 매니저(dbt,Airflow,Dagster,Prefect) #5 - Spark, Python, Hive #6 - Kafka, Pulsar, Kinesis #7 - Kafka Streams, kSQL, ksqlDB, Apache Flink, Spark Structured Streaming 데이터 인프라의 변화(영상 내용 참고자료) 데이터 인프라 구축..

[클라우드_강의] 2️⃣가상 데이터 센터 만들기_VPC연결 옵션

https://www.youtube.com/watch?v=R1UWYQYTPKo&t=925s 가상 데이터 센터 만들기 - VPC 기본 및 연결 옵션 - 양승도 솔루션즈 아키텍트(AWS 코리아) 위 강의를 듣고 내용에 대해서 필기한 자료 (총 45분 강의 중 28분 부터의 필기) 본 강연에서는 VPC개념과 설정 그리고 요구에 맞게 가상 네트워크를 설정할 수 있는 방법에 대해 다루고 있습니다. AUSG 4기 오거님의 추천으로 강의를 듣게 되었습니다! (+테라폼 스터디) 목차 1. 이전에 본 내용 1-1. 인터넷 액세스 제한: 서브넷 별로 다른 라우팅 2. NAT gateway 2-1. NAT gateway 서비스 제공 2-2. NAT gateway를 가지고 route를 설정하는 방법! 3. VPC 간 연결: ..

[클라우드_강의] 1️⃣가상 데이터 센터 만들기_VPC 설정

https://www.youtube.com/watch?v=R1UWYQYTPKo&t=925s 가상 데이터 센터 만들기 - VPC 기본 및 연결 옵션 - 양승도 솔루션즈 아키텍트(AWS 코리아) 위 강의를 듣고 내용에 대해서 필기한 자료 (총 45분 강의 중 28분까지의 필기) 본 강연에서는 VPC개념과 설정 그리고 요구에 맞게 가상 네트워크를 설정할 수 있는 방법에 대해 다루고 있습니다. AUSG 4기 오거님의 추천으로 강의를 듣게 되었습니다! (+테라폼 스터디) 목차 1.VPC란? 2.인터넷에 연결된 VPC설정 2-1. IP 주소선택 2-2. 서브넷 2-3. 인터넷 경로 2-4. 보안 정책 1. VPC란? VPC(virtual private cloud)라는 컴포넌트가 왜 중요하냐? - 리소스를 생성하게 ..