devopslog

jq 명령어를 통한 Json to CSV 변환Jq 명령어 활용https://stedolan.github.io/jq/jq is a lightweight and flexible command-line JSON processor.jq를 사용하여 JSON 배열과 NDJSON 형식의 데이터를 CSV 형식으로 변환하는 예제JSON 배열은 여러 개의 JSON 객체를 대괄호로 묶은 형식이고, NDJSON은 Newline Delimited JSON의 약자로, 한 줄에 하나의 JSON 객체를 나열한 형식 NDJSON은 MongoDB나 Elasticsearch 등에서 사용되는 데이터 형식Json 배열에서 CSV 데이터 변환[ { "fs": "/dev/mapper/vgubuntu-root", "type": "ex..

CSV 파일을 SQLite3 Import 및 QueryCSV to SQLite3CSV 파일을 SQLite3로 Import 쿼리CSV 샘플 데이터 확인$ cat cities.csv"LatD", "LatM", "LatS", "NS", "LonD", "LonM", "LonS", "EW", "City", "State" 41, 5, 59, "N", 80, 39, 0, "W", "Youngstown", OH 42, 52, 48, "N", 97, 23, 23, "W", "Yankton", SD 46, 35, 59, "N", 120, 30, 36, "W", "Yakima", WA...TIP: cat 대신 bat 사용하면 더 나은 뷰어를 제공 ..

MySQL 테이블에 Text 파일을 빠르게 Insert 하는 방벙MySQL LOAD DATAhttps://dev.mysql.com/doc/refman/8.0/en/load-data.htmlThe LOAD DATA statement reads rows from a text file into a table at a very high speedLOAD DATA statement사전 준비 : secure_file_privsecure_file_priv 의 설정값이 NULL 로 되어 있는데 빈문자열로 수정해야 함SHOW VARIABLES LIKE 'secure_file_priv' -- NULL my.cnf 에서 수정 및 재시작 필요[mysqld]secure-file-priv=""LOAD DATA 최소 설정LOAD..

DuckDB CLI 및 SQL CheatSheet - 주요 파일 포맷, DB Attach, HTTP/S3, ExcelDuckDB CLI 및 SQL CheatSheet 가이드1. DuckDB와 CLI/SQL 기능 소개DuckDB는 고성능 분석 쿼리를 위해 설계된 인-프로세스, 컬럼 지향 OLAP 데이터베이스입니다. CLI와 SQL 인터페이스를 통해 CSV, Parquet, JSON, Excel 등의 파일 포맷을 처리하고, 데이터베이스를 관리하며, HTTP/S3와 같은 웹 기반 스토리지와 통합할 수 있습니다. 이 치트시트는 DuckDB의 CLI와 SQL 명령어를 중심으로 실용적인 예제와 모범 사례를 제공합니다.주요 기능:파일 포맷 지원: CSV, Parquet, JSON, Excel 등을 손쉽게 읽고 쓰기...