devopslog

MySQL 테이블에 Text 파일을 빠르게 Insert 하는 방벙MySQL LOAD DATAhttps://dev.mysql.com/doc/refman/8.0/en/load-data.htmlThe LOAD DATA statement reads rows from a text file into a table at a very high speedLOAD DATA statement사전 준비 : secure_file_privsecure_file_priv 의 설정값이 NULL 로 되어 있는데 빈문자열로 수정해야 함SHOW VARIABLES LIKE 'secure_file_priv' -- NULL my.cnf 에서 수정 및 재시작 필요[mysqld]secure-file-priv=""LOAD DATA 최소 설정LOAD..

Flask 에서 SQLAlchemy 사용시 Query 팁 설정Connection기본 DBMS 연결 정보 # MySQLapp.config['SQLALCHEMY_DATABASE_URI'] = r'mysql+pymysql://user:passwd@address:3306/db_name?charset=UTF8MB4'db = SQLAlchemy()db.init_app(app)Bind 추가기본 DBMS 이외, 추가적인 DB 정보 추가 app.config['SQLALCHEMY_BINDS'] = { 'dbms1': r'mysql+pymysql://user:passwd@address1:3306/db_name?charset=UTF8MB4', 'dbms2': r'mysql+pymysql://user:passwd@..

Kubernetes 설치 및 운영 101사전 준비Kubernetes 설치 전 서버 구성 변경참고 : https://www.mirantis.com/blog/how-install-kubernetes-kubeadm/Swap 영역을 비활성화 # 일시적인 설정 $ sudo swapoff -a# 영구적인 설정, 아래 swap 파일 시스템을 주석처리 $ sudo vi /etc/fstab...# /dev/mapper/kube--master--vg-swap_1 none swap sw 0 0SELinux Disable# 임시 $ sudo setenforce 0# 영구$ sudo vi /etc/sysconfig/selinux...SELinux=disabled 방화..

macOS 애플리케이션 - personal installation시스템 유틸리티alt-tab (AltTab.app)윈도우 스타일의 앱 전환기로, 모든 열린 창을 한눈에 보고 빠르게 전환할 수 있습니다.macOS의 기본 앱 전환 기능을 개선하여 생산성을 높이는 데 도움을 줍니다. linearmouse (LinearMouse.app)macOS용 마우스 커스터마이징 도구로, 스크롤 방향, 속도, 버튼 기능 등을 세밀하게 조정할 수 있습니다.특히 서드파티 마우스 사용 시 macOS의 제한적인 마우스 설정을 보완해줍니다. rectangle (Rectangle.app)키보드 단축키로 창 크기와 위치를 쉽게 조절할 수 있는 창 관리 도구입니다.다중 모니터 환경에서 창 관리를 효율적으로 할 수 있어 작업 생산성을 ..

Neovim 설치 및 vim-plug 설정으로 개발, 운영 환경 구성 Neovimhttps://github.com/neovim/neovimVim-fork focused on extensibility and usability Neovim install플랫폼 별 패키지 설치 방법# macos $ brew install nvim # windows $ choco install neovim # linux (ubuntu)$ sudo apt install neovim # linux (centos)$ sudo yum install neovimvim-plug installNeovim 에 Plugin 지원을 위한 확장 툴 : vim 도 지원 https://github.com/junegunn/vim-plugvim의 Vumd..

Golang GC (가비지 컬렉터) 주요 내용Golang GC : GOGC유효하지 않는 메모리(Dangling Object)를 주기적으로 해제하는 기법Java의 Parallel GC, G1GC 와 유사하나 구현 방식에서 차이가 있음Stop-the-World 시간을 최소화하도록 설계됨Tri-Color Algorithm 사용동시성을 고려한 효율적인 메모리 관리 알고리즘CMS (Concurrent Mark and Sweep) 방식 운영Java 와 같은 Generation GC 기법이나 Compaction은 지원하지 않음대신 더 효율적인 메모리 할당 전략을 사용Compaction (압축, 재배치) 가 없음 재배치를 하지 않는 대신 TCMalloc를 통한 메모리 할당 관리메모리 단편화를 최소화하고 빠른 할당을 지..

Makefile 간단한 범용 버전 Makefile현재 디렉토리 모든 .cpp 파일 빌드CC = g++CC_FLAGS = -std=c++11 -pedantic -Wall -O2 LD_LIBS = EXEC = mainSOURCES = $(wildcard *.cpp)OBJECTS = $(SOURCES:.cpp=.o)# Main target$(EXEC): $(OBJECTS) $(CC) $(OBJECTS) -o $(EXEC) $(LD_LIBS)%.o: %.cpp $(CC) -c $(CC_FLAGS) $

Python Selenium 이용한 웹 스크래핑 방법, 웹 자동화 Selenium 가이드: 웹 자동화1. Selenium 이란?Selenium은 웹 브라우저 자동화를 위한 아래와 같은 용도웹 애플리케이션 테스트 자동화웹 스크래핑 및 데이터 추출반복적인 웹 작업 자동화크로스 브라우저 테스팅주요 기능브라우저 제어: 다양한 브라우저에서 웹 페이지를 자동으로 로드하고 조작할 수 있습니다.DOM 조작: 웹 페이지의 DOM 요소를 검색하고 조작할 수 있습니다.폼 자동화: 폼을 자동으로 작성하고 제출할 수 있습니다.스크린샷 캡처: 웹 페이지의 스크린샷을 캡처할 수 있습니다.헤드리스 모드: 브라우저 창을 띄우지 않고 백그라운드에서 작업을 수행할 수 있습니다.Selenium은 다양한 프로그래밍 언어를 지원하며, 웹 개발..

trino(presto), minio docker 활용 테스트 환경 trino (hive connector) to miniotrino 의 hive connector 를 활용해서 minio 데이터 분석 환경Hive connector : https://trino.io/docs/current/connector/hive.html참고 : https://github.com/cdecl/trino-minio-dockerdocker-compose (trino, minio)version: '3'services: trino: image: trinodb/trino container_name: trino restart: always ports: - "8080:8080" volumes: ..

Docker 기반 서비스 자동 감지 및 요청을 처리하는 Reverse proxy Traefik Proxyhttps://doc.traefik.io/traefik/docker.sock 을 통해 Rule 기반 서비스를 찾고 요청을 처리함 Docker 이외에 Kubernetes, Docker Swarm, AWS, Mesos, Marathon 등을 지원 Quick Starthttps://doc.traefik.io/traefik/getting-started/quick-start/docker-compose.ymlreverse-proxy : traefik reverse proxy 서비스Docker Out of Docker (DooD) 같은 형태로 서비스 감지 서비스와 같은 Docker network 내에 있어야 호출이..