본문 바로가기

IT161

데이터 엔지니어링 on Google Cloud (2/4) 배치(일괄) 데이터 파이프라인의 개념, 구축 방법, Google Cloud Platform (GCP) 상에서의 실행 및 관리 전략에 대해 살펴 보겠습니다. 배치 파이프라인의 기본 개념부터 ELT/ETL 프로세스, 데이터 품질 고려 사항, GCP의 주요 서비스 (BigQuery, Dataproc, Dataflow, Cloud Data Fusion, Cloud Composer, Data Catalog) 활용 방안, 그리고 파이프라인 최적화 및 관리 전략에 이르기까지 광범위한 주제를 다룹니다.배치 데이터 파이프라인의 기본 개념:배치 파이프라인은 "제한된 양의 데이터를 처리한 다음 종료하는 파이프라인입니다." 예를 들어, 매일의 거래 데이터를 처리하고 데이터 웨어하우스에 기록하는 파이프라인이 있습니다.데이터 처.. 2025. 4. 7.
데이터 엔지니어링 on Google Cloud (1/4) 1장: 데이터 엔지니어링 및 Google Cloud 기반 데이터 레이크/웨어하우스 구축데이터 엔지니어링의 주요 개념과 Google Cloud를 활용한 데이터 레이크 및 데이터 웨어하우스 구축에 대한 핵심 내용을 요약하고 있습니다. 데이터 엔지니어의 역할, 데이터 엔지니어링의 과제, 데이터 레이크와 데이터 웨어하우스의 차이점 및 Google Cloud 솔루션(BigQuery, Cloud Storage, Cloud SQL 등)을 중심으로 주요 아이디어와 사실을 정리했습니다.1. 데이터 엔지니어링 소개 및 역할 데이터 파이프라인 구축: 데이터 엔지니어의 핵심 역할은 데이터 기반 의사 결정을 지원하는 데이터 파이프라인을 구축하는 것입니다. 이는 데이터를 필요한 위치로 가져오고, 사용 가능한 상태로 만들며, 새로.. 2025. 4. 7.
Metabase에서 Supabase 연결 설정 간단하게 무료 PostgreSQL을 사용하기 위해 Supabase를 사용합니다. 키 등으로 연결할 때는 상관없었지만, JDBC 등으로 연결할려고 할 때 조금 신경 써야 할 부분이 있습니다. ( GPT의 내용이 안 맞는 것으로 봐서 최근 1년 사이에 바뀐게 아닐까 합니다. )우선 설정을 확인하기 위해 Supabase 상단의 Connect 를 클릭합니다.Direct connection은 무료 버전에서 IP v4을 허용하지 않습니다.중간에 보면 Transaction 부분을 참고하셔서 사용하면 됩니다. 비밀번호는 supabase 접속시 사용한 비밀번호 입니다.Metabase 에서 잘 나오는 것을 볼수 있습니다. 낮시간 때에 제 블로그 방문율은 낮은 것 같네요. 2025. 3. 26.
Docker Desktop 대안 Rancher, Podman and Colima Docker Desktop은 상업적인 사용(기업 규모가 일정 기준 이상인 경우)에는 유료로 제공됩니다."*Commercial use of Docker Desktop at a company of more than 250 employees OR more than $10 million in annual revenue requires a paid subscription (Pro, Team, or Business) to use Docker Desktop."그러나 Docker의 핵심 구성 요소인 **Docker Engine (커맨드라인에서 사용하는 도커 CLI, Docker Daemon)**는 오픈 소스이며 무료입니다. docker CLI와 dockerd (Docker Daemon) 자체는 MIT 라이선스 하에 배.. 2025. 3. 20.

티스토리툴바