devopslog

MySQL 8 Docker 실행 및 백업, 복원MySQL Docker 실행docker-composedata:/var/lib/mysql : Data 파일 conf.d:/etc/mysql/conf.d : my.cnf 등의 설정파일 root:/root : login-path 사용시 ports : "3380:3306" : mysql port "33800:33060" : mysql-shell port version: '3'services: db: image: mysql:8 container_name: mysql8 command: --default-authentication-plugin=mysql_native_password restart: always environment: ..

ElasticSearch to MySQL ETL준비curl : Http 기반 ElasticSearch Query (SQL)jq : ElasticSearch 결과 JSON 변환 (NDJSON)mysql-shell : MySQL 데이터 Bulk Insert (Json 타입의 Table)ElasticSearch Query curl쿼리 후, 해당 내용 JSON 저장 $ curl -s -XPOST -H 'content-type: application/json' \ -d '{"query" : "select timestamp, activesession, loadavg, processor from \"mysql-perf-*\" limit 100"}' \ 'http://elasticsearch-server:..

MySQL BinLog (Binary Log) 설정 및 확인MySQL Binloghttps://dev.mysql.com/doc/internals/en/binary-log-overview.htmlhttps://dev.mysql.com/doc/refman/5.7/en/replication-options-binary-log.html데이터 수정에 대한 정보를 포함하는 로그 파일 세트Binlog 를 사용하는 목적복제 : 마스터 복제 서버에서 슬레이브 서버로 보낼 명령문의 기록으로 사용데이터 복구 : 백업 파일이 복원된, 특정 시점 이후의 데이터 복구를 위해 사용 Binlog 기록하는 방법 binlog-formatSTATEMENT : 이벤트에는 데이터 변경(삽입, 업데이트, 삭제)을 생성하는 SQL 문이 포함MyS..

MySQL 테이블에 Text 파일을 빠르게 Insert 하는 방벙MySQL LOAD DATAhttps://dev.mysql.com/doc/refman/8.0/en/load-data.htmlThe LOAD DATA statement reads rows from a text file into a table at a very high speedLOAD DATA statement사전 준비 : secure_file_privsecure_file_priv 의 설정값이 NULL 로 되어 있는데 빈문자열로 수정해야 함SHOW VARIABLES LIKE 'secure_file_priv' -- NULL my.cnf 에서 수정 및 재시작 필요[mysqld]secure-file-priv=""LOAD DATA 최소 설정LOAD..

DuckDB를 ETL 도구로 활용 : CSV 데이터 → MySQL DuckDB를 통한 CSV 데이터를 MySQL로 ETL 하는 방법ETL이란?ETL이란 Extract, Transform, Load의 약자로, 데이터를 다양한 소스에서 추출하고 변환하고 적재하는 과정ETL을 수행하기 위해서는 여러가지 툴을 사용할 수 있는데 그 중 하나 DuckDB 활용하는 안DuckDBDuckDB는 분석 쿼리에 최적화된 임베디드 데이터베이스 DuckDB는 PostgreSQL과 호환되는 SQL 문법을 사용하고, 여러 DB와 연결하여 데이터를 효율적으로 가져와 로컬 DuckDB에서 데이터 처리 가능Extensions : https://duckdb.org/docs/extensions/overviewETL 예제DuckDB에서 CS..