devopslog

trino(presto), minio docker 활용 테스트 환경 trino (hive connector) to miniotrino 의 hive connector 를 활용해서 minio 데이터 분석 환경Hive connector : https://trino.io/docs/current/connector/hive.html참고 : https://github.com/cdecl/trino-minio-dockerdocker-compose (trino, minio)version: '3'services: trino: image: trinodb/trino container_name: trino restart: always ports: - "8080:8080" volumes: ..

Docker 기반 서비스 자동 감지 및 요청을 처리하는 Reverse proxy Traefik Proxyhttps://doc.traefik.io/traefik/docker.sock 을 통해 Rule 기반 서비스를 찾고 요청을 처리함 Docker 이외에 Kubernetes, Docker Swarm, AWS, Mesos, Marathon 등을 지원 Quick Starthttps://doc.traefik.io/traefik/getting-started/quick-start/docker-compose.ymlreverse-proxy : traefik reverse proxy 서비스Docker Out of Docker (DooD) 같은 형태로 서비스 감지 서비스와 같은 Docker network 내에 있어야 호출이..

네트워크 L4, L7 기능 Reverse proxy 및 Load balancing, HA 기능을 제공하는 최적화된 S/WHAProxy Basic공식 블로그인 만큼 가장 잘 정리된 링크로 상세 설명 대체Basic Configurationhttps://www.haproxy.com/blog/haproxy-configuration-basics-load-balance-your-servers/최소 설정 및 기본 항목에 대한 설명 설치 및 적용 centos 7# install $ sudo yum install haproxy # start$ sudo systemctl start haproxy # status$ sudo systemctl status haproxy● haproxy.service - HAProxy Load..

netstatHost 머신에서 netstat 명령으로 docker container의 네트워크 상태가 확인 안됨 물론 container 내부에서 실행하면 되지만...docker container는 bridge 네트워크 기반으로 운영이 되므로 Host Network 에서는 노출이 안됨 # docker 실행 $ docker run -d -p 8081:80 --name=mvcapp cdecl/mvcapp4fafaf418f84bf6541a1301b4422f825c58fa20b11d1190e87a3e23eea7a6825# Host 에서는 publsh port (listen) 정보만 노출$ netstat -ntl | grep 8081tcp6 0 0 :::8081 :..

DuckDB를 ETL 도구로 활용 : CSV 데이터 → MySQL DuckDB를 통한 CSV 데이터를 MySQL로 ETL 하는 방법ETL이란?ETL이란 Extract, Transform, Load의 약자로, 데이터를 다양한 소스에서 추출하고 변환하고 적재하는 과정ETL을 수행하기 위해서는 여러가지 툴을 사용할 수 있는데 그 중 하나 DuckDB 활용하는 안DuckDBDuckDB는 분석 쿼리에 최적화된 임베디드 데이터베이스 DuckDB는 PostgreSQL과 호환되는 SQL 문법을 사용하고, 여러 DB와 연결하여 데이터를 효율적으로 가져와 로컬 DuckDB에서 데이터 처리 가능Extensions : https://duckdb.org/docs/extensions/overviewETL 예제DuckDB에서 CS..

trino(presto) nested json 를 처리하기 위한 table schema 예제trino(presto) - create tablerow : json object (nested json) 타입을 위한 sub column 정의 array : 배열Example{"id":1,"name":"Alice"}{"id":2,"name":"Bob"}{"id":3,"name":"Carol"}{"id":4,"name":"David", "etc1": [{"key": "key-data11"}, {"key": "key-data22"}] }{"id":5,"name":"Elise", "etc2": ["data1", "data2", "data3"]}create table hive.default.sample ( id v..