devopslog

MySQL 테이블에 Text 파일을 빠르게 Insert 하는 방벙MySQL LOAD DATAhttps://dev.mysql.com/doc/refman/8.0/en/load-data.htmlThe LOAD DATA statement reads rows from a text file into a table at a very high speedLOAD DATA statement사전 준비 : secure_file_privsecure_file_priv 의 설정값이 NULL 로 되어 있는데 빈문자열로 수정해야 함SHOW VARIABLES LIKE 'secure_file_priv' -- NULL my.cnf 에서 수정 및 재시작 필요[mysqld]secure-file-priv=""LOAD DATA 최소 설정LOAD..

Kubernetes 설치 및 운영 101사전 준비Kubernetes 설치 전 서버 구성 변경참고 : https://www.mirantis.com/blog/how-install-kubernetes-kubeadm/Swap 영역을 비활성화 # 일시적인 설정 $ sudo swapoff -a# 영구적인 설정, 아래 swap 파일 시스템을 주석처리 $ sudo vi /etc/fstab...# /dev/mapper/kube--master--vg-swap_1 none swap sw 0 0SELinux Disable# 임시 $ sudo setenforce 0# 영구$ sudo vi /etc/sysconfig/selinux...SELinux=disabled 방화..

Neovim 설치 및 vim-plug 설정으로 개발, 운영 환경 구성 Neovimhttps://github.com/neovim/neovimVim-fork focused on extensibility and usability Neovim install플랫폼 별 패키지 설치 방법# macos $ brew install nvim # windows $ choco install neovim # linux (ubuntu)$ sudo apt install neovim # linux (centos)$ sudo yum install neovimvim-plug installNeovim 에 Plugin 지원을 위한 확장 툴 : vim 도 지원 https://github.com/junegunn/vim-plugvim의 Vumd..

trino(presto), minio docker 활용 테스트 환경 trino (hive connector) to miniotrino 의 hive connector 를 활용해서 minio 데이터 분석 환경Hive connector : https://trino.io/docs/current/connector/hive.html참고 : https://github.com/cdecl/trino-minio-dockerdocker-compose (trino, minio)version: '3'services: trino: image: trinodb/trino container_name: trino restart: always ports: - "8080:8080" volumes: ..

Docker 기반 서비스 자동 감지 및 요청을 처리하는 Reverse proxy Traefik Proxyhttps://doc.traefik.io/traefik/docker.sock 을 통해 Rule 기반 서비스를 찾고 요청을 처리함 Docker 이외에 Kubernetes, Docker Swarm, AWS, Mesos, Marathon 등을 지원 Quick Starthttps://doc.traefik.io/traefik/getting-started/quick-start/docker-compose.ymlreverse-proxy : traefik reverse proxy 서비스Docker Out of Docker (DooD) 같은 형태로 서비스 감지 서비스와 같은 Docker network 내에 있어야 호출이..

네트워크 L4, L7 기능 Reverse proxy 및 Load balancing, HA 기능을 제공하는 최적화된 S/WHAProxy Basic공식 블로그인 만큼 가장 잘 정리된 링크로 상세 설명 대체Basic Configurationhttps://www.haproxy.com/blog/haproxy-configuration-basics-load-balance-your-servers/최소 설정 및 기본 항목에 대한 설명 설치 및 적용 centos 7# install $ sudo yum install haproxy # start$ sudo systemctl start haproxy # status$ sudo systemctl status haproxy● haproxy.service - HAProxy Load..

netstatHost 머신에서 netstat 명령으로 docker container의 네트워크 상태가 확인 안됨 물론 container 내부에서 실행하면 되지만...docker container는 bridge 네트워크 기반으로 운영이 되므로 Host Network 에서는 노출이 안됨 # docker 실행 $ docker run -d -p 8081:80 --name=mvcapp cdecl/mvcapp4fafaf418f84bf6541a1301b4422f825c58fa20b11d1190e87a3e23eea7a6825# Host 에서는 publsh port (listen) 정보만 노출$ netstat -ntl | grep 8081tcp6 0 0 :::8081 :..

DuckDB CLI 및 SQL CheatSheet - 주요 파일 포맷, DB Attach, HTTP/S3, ExcelDuckDB CLI 및 SQL CheatSheet 가이드1. DuckDB와 CLI/SQL 기능 소개DuckDB는 고성능 분석 쿼리를 위해 설계된 인-프로세스, 컬럼 지향 OLAP 데이터베이스입니다. CLI와 SQL 인터페이스를 통해 CSV, Parquet, JSON, Excel 등의 파일 포맷을 처리하고, 데이터베이스를 관리하며, HTTP/S3와 같은 웹 기반 스토리지와 통합할 수 있습니다. 이 치트시트는 DuckDB의 CLI와 SQL 명령어를 중심으로 실용적인 예제와 모범 사례를 제공합니다.주요 기능:파일 포맷 지원: CSV, Parquet, JSON, Excel 등을 손쉽게 읽고 쓰기...

DuckDB를 ETL 도구로 활용 : CSV 데이터 → MySQL DuckDB를 통한 CSV 데이터를 MySQL로 ETL 하는 방법ETL이란?ETL이란 Extract, Transform, Load의 약자로, 데이터를 다양한 소스에서 추출하고 변환하고 적재하는 과정ETL을 수행하기 위해서는 여러가지 툴을 사용할 수 있는데 그 중 하나 DuckDB 활용하는 안DuckDBDuckDB는 분석 쿼리에 최적화된 임베디드 데이터베이스 DuckDB는 PostgreSQL과 호환되는 SQL 문법을 사용하고, 여러 DB와 연결하여 데이터를 효율적으로 가져와 로컬 DuckDB에서 데이터 처리 가능Extensions : https://duckdb.org/docs/extensions/overviewETL 예제DuckDB에서 CS..

trino(presto) nested json 를 처리하기 위한 table schema 예제trino(presto) - create tablerow : json object (nested json) 타입을 위한 sub column 정의 array : 배열Example{"id":1,"name":"Alice"}{"id":2,"name":"Bob"}{"id":3,"name":"Carol"}{"id":4,"name":"David", "etc1": [{"key": "key-data11"}, {"key": "key-data22"}] }{"id":5,"name":"Elise", "etc2": ["data1", "data2", "data3"]}create table hive.default.sample ( id v..