본문 바로가기

IT/DB27

데이터 엔지니어링 on Google Cloud (0/4) 구글 클라우드 데이터 관리 체계 및 데이터 엔지니어링데이터 관리 개념, 시스템 아키텍처, 서비스 아키텍처 및 구글 클라우드 서비스 활용 가이드목차소개데이터 관리 개념시스템 아키텍처서비스 아키텍처구글 클라우드 서비스Google Cloud Storage (GCS)BigQueryCloud ComposerDataprocDataflowData Fusion데이터 파이프라인 구축활용 사례모범 사례결론1. 소개현대 비즈니스에서 데이터는 가장 중요한 자산 중 하나입니다. 대규모 데이터를 효율적으로 저장, 처리, 분석하는 능력은 비즈니스 성공의 핵심 요소가 되었습니다. 구글 클라우드 플랫폼(Google Cloud Platform, GCP)은 기업이 데이터를 최대한 활용할 수 있도록 다양한 데이터 관리 서비스를 제공합니다... 2025. 4. 11.
Supabase Supabase는 오픈 소스 백엔드 서비스 플랫폼으로, 개발자들이 애플리케이션의 데이터베이스와 인증, 실시간 데이터 처리 등을 관리할 수 있도록 지원한다. 이 플랫폼은 PostgreSQL을 기반으로 하며, 데이터베이스와 관련된 다양한 작업을 쉽게 수행할 수 있는 도구와 인터페이스를 제공한다. 또한 Supabase는 API를 통해 클라이언트 애플리케이션과 상호작용하고, 데이터를 실시간으로 업데이트할 수 있는 기능도 제공한다. 요약하자면, Supabase는 백엔드 작업을 간편하게 처리할 수 있도록 도와주는 플랫폼이다.Supabase | The Open Source Firebase Alternative Supabase | The Open Source Firebase AlternativeBuild product.. 2024. 2. 21.
Qdrant - Vector Database Qdrant - Vector Database Qdrant - Vector Database Qdrant is an Open-Source Vector Database and Vector Search Engine written in Rust. It provides fast and scalable vector similarity search service with convenient API. qdrant.tech Qdrant(Quadrant)는 벡터 유사성 검색 엔진이자 벡터 데이터베이스입니다. 추가 페이로드가 있는 벡터인 포인트를 저장, 검색 및 관리할 수 있는 편리한 API를 통해 프로덕션에 바로 사용할 수 있는 서비스를 제공합니다. Qdrant는 확장된 필터링 지원에 맞게 조정되었습니다. 따라서 모든 종류.. 2023. 4. 21.
Milvus open source vector database Milvus는 2019년에 만들어졌으며, 딥 뉴럴 네트워크 및 기타 머신 러닝(ML) 모델에서 생성된 대량 임베딩 벡터를 저장, 인덱싱 및 관리하는 것을 목표로 합니다. 입력 벡터에 대한 쿼리를 처리하기 위해 특별히 설계된 데이터베이스로, 조작 가능한 벡터를 1조 단위로 인덱싱할 수 있습니다. 기존 관계형 데이터베이스가 사전 정의된 패턴을 따르는 구조화된 데이터를 처리하는 데 주로 사용되는 반면, Milvus는 비구조화된 데이터에서 변환된 임베딩 벡터를 처리할 수 있도록 로우레벨 수준에서 설계되었습니다. 인터넷이 성장하면서 비구조화된 데이터가 점점 더 많아졌습니다. 그 예로는 이메일, 논문, IoT 센서 데이터, Facebook 사진, 단백질 구조 등이 있습니다. 이러한 데이터를 컴퓨터가 이해하고 처리할.. 2023. 4. 17.