IT/Etc78 오픈소스 기반의 CDP 구축 예시 L모 사의 CDP 구성을 보고 오픈 소스로 구성한다면 어떻게 될까 생각하며 작성해 본다.오픈소스 기반의 CDP 구축 솔루션 예시CDP 아키텍처 구성 요소오픈 소스 솔루션데이터 수집 (Data Ingestion)Apache Kafka, Flink, Airbyte데이터 저장 및 처리 (Data Storage & Processing)Hive, Druid, Delta Lake, Trino, ClickHouse고객 데이터 통합 (Identity Resolution)dbt, OpenMetadata데이터 분석 및 세분화 (Customer Segmentation & Insights)Apache Superset, Metabase, Scikit-learn개인화 마케팅 및 자동화 (Activation & Personaliz.. 2025. 3. 14. 한대의 pc(서버)에서 리버스 프록시를 사용하어 두개의 망연결 내부망과 외부망의 트래픽을 수용하기 위해 설정하는 내용입니다.외부에서 접근 가능한 **두 개의 물리 NIC(외부 네트워크 2개)**를 사용하여 Nginx 리버스 프록시를 구성하려면, 각각의 NIC에 맞는 Docker 네트워크를 생성하고 두 개의 Nginx 컨테이너를 각각의 네트워크에 바인딩하면 됩니다.1. 네트워크 구성NIC 정보 예시eth0: 192.168.1.100 (외부망 #1 - ISP1)eth1: 10.10.10.100 (외부망 #2 - ISP2)• eth0: 외부 네트워크 1 (ISP 1) → nginx-external-1• eth1: 외부 네트워크 2 (ISP 2) → nginx-external-2 2. Docker 네트워크 생성각각의 물리 NIC(네트워크 카드)에 맞춰 Docker 브리지 .. 2025. 3. 7. MacOS Silicon CPU에서 Trino를 도커로 설치 맥미니 M4에서 Trino를 도커로 설치할 경우 오류가 발생합니다.(base) bhjo0930@Mac-mini-M4 ~ % docker run -p 8080:8080 --name trino trinodb/trino+ launcher_opts=(--etc-dir /etc/trino)+ grep -s -q node.id /etc/trino/node.properties+ launcher_opts+=("-Dnode.id=${HOSTNAME}")+ exec /usr/lib/trino/bin/launcher run --etc-dir /etc/trino -Dnode.id=b3255d9221acERROR: could not exec java to determine jvm version: signal: aborted원인.. 2025. 3. 6. 맥미니 M4 낮은 CPU 사용율??? 일부 싱글 코어를 쓰는 프로그램도 있겠지만 그렇지 않는 프로그램을 사용함에도 CPU의 여유는 있고 프로그램 동작은 늦은 경우를 자주 겪었다. 전력(?)을 많이 쓰는것도 오히려 이런 모니터링 프로그램이다. M4가 이전 M1 같은 것과 비교할 때 그래픽 성능도 많이 높아졌다고는 하나, 여전히 부족함 면이 있어 보인다. 시스템은 놀고 있는 것으로 보이나 %GPU를 보면 90%대를 나타내고 있다. iStat Menus를 통해서 조회해보니.. 역시 GPU가 열일하고 있었고, 미지근한 맥미니에 비해 GPU의 온도는 90%에 육박했다.즉, CPU가 낮다면 다른 요인이 있을 수 있으므로, 메모리, 디스크, GPU등을 살펴봐야 한다. 2025. 3. 3. 이전 1 2 3 4 5 6 ··· 20 다음
