devopslog

Github Actions 101Github 에서 제공하는 Workflow 툴 GitHub-hosted Runner or Self-Hosted Runner 에서 실행 Actions 탭을 통해서 Template을 선택하고 Yaml 파일로 Task 내용을 기술.github/workflows 디렉토리 밑에 위치 Runner 종류GitHub-hosted Runner : MS Azure 가상머신에서 실행 Public Repository : 무료Private Repository : 2000분/월 무료 Self-Hosted Runner : 자체 머신을 통해 Runner Hosting https://help.github.com/en/actions/hosting-your-own-runners/adding-self-hos..

ReaR(Relax & Recover), Linux 재해 복구 도구ReaRhttps://relax-and-recover.org/ Manual Page : https://github.com/rear/rear/blob/master/doc/rear.8.adoc OS의 부팅 가능한 복구 시스템 구성, 시스템 파일 백업 및 복구 지원 Simple ExampleNFS 백업 서버 구성ReaR 백업 및 복구 테스트 centos7, Hyper-v 환경 테스트 https://access.redhat.com/solutions/2115051 Backup용 NFS 서버 구성백업서버 NFS 구성 # nfs-utils 설치 $ sudo yum install nfs-utils# 디렉토리 생성 $ sudo mkdir -p /sto..

Oracle 대량 Bulk Insert Tool구성요소Control File : sqlldr 명령행을 실행하기 위한 제어, 설정 파일 sqlldr : SQL*Loader, Oracle 데이터 Insert Tool Control File 기본 구성OPTIONS (DIRECT=TRUE,ERRORS=100000,readsize=204800000)LOAD DATACHARACTERSET AL32UTF8INFILE 'infile/${CTL_INFILE}.csv'TRUNCATE INTO TABLE ${CTL_TABLE}FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY " "TRAILING NULLCOLS( ${CTL_TABLE_COLS} )OPTIONS DIRECTERRORS : ..

MySQL 테이블에 Text 파일을 빠르게 Insert 하는 방벙MySQL LOAD DATAhttps://dev.mysql.com/doc/refman/8.0/en/load-data.htmlThe LOAD DATA statement reads rows from a text file into a table at a very high speedLOAD DATA statement사전 준비 : secure_file_privsecure_file_priv 의 설정값이 NULL 로 되어 있는데 빈문자열로 수정해야 함SHOW VARIABLES LIKE 'secure_file_priv' -- NULL my.cnf 에서 수정 및 재시작 필요[mysqld]secure-file-priv=""LOAD DATA 최소 설정LOAD..

Kubernetes 설치 및 운영 101사전 준비Kubernetes 설치 전 서버 구성 변경참고 : https://www.mirantis.com/blog/how-install-kubernetes-kubeadm/Swap 영역을 비활성화 # 일시적인 설정 $ sudo swapoff -a# 영구적인 설정, 아래 swap 파일 시스템을 주석처리 $ sudo vi /etc/fstab...# /dev/mapper/kube--master--vg-swap_1 none swap sw 0 0SELinux Disable# 임시 $ sudo setenforce 0# 영구$ sudo vi /etc/sysconfig/selinux...SELinux=disabled 방화..

Neovim 설치 및 vim-plug 설정으로 개발, 운영 환경 구성 Neovimhttps://github.com/neovim/neovimVim-fork focused on extensibility and usability Neovim install플랫폼 별 패키지 설치 방법# macos $ brew install nvim # windows $ choco install neovim # linux (ubuntu)$ sudo apt install neovim # linux (centos)$ sudo yum install neovimvim-plug installNeovim 에 Plugin 지원을 위한 확장 툴 : vim 도 지원 https://github.com/junegunn/vim-plugvim의 Vumd..

trino(presto), minio docker 활용 테스트 환경 trino (hive connector) to miniotrino 의 hive connector 를 활용해서 minio 데이터 분석 환경Hive connector : https://trino.io/docs/current/connector/hive.html참고 : https://github.com/cdecl/trino-minio-dockerdocker-compose (trino, minio)version: '3'services: trino: image: trinodb/trino container_name: trino restart: always ports: - "8080:8080" volumes: ..

Docker 기반 서비스 자동 감지 및 요청을 처리하는 Reverse proxy Traefik Proxyhttps://doc.traefik.io/traefik/docker.sock 을 통해 Rule 기반 서비스를 찾고 요청을 처리함 Docker 이외에 Kubernetes, Docker Swarm, AWS, Mesos, Marathon 등을 지원 Quick Starthttps://doc.traefik.io/traefik/getting-started/quick-start/docker-compose.ymlreverse-proxy : traefik reverse proxy 서비스Docker Out of Docker (DooD) 같은 형태로 서비스 감지 서비스와 같은 Docker network 내에 있어야 호출이..

네트워크 L4, L7 기능 Reverse proxy 및 Load balancing, HA 기능을 제공하는 최적화된 S/WHAProxy Basic공식 블로그인 만큼 가장 잘 정리된 링크로 상세 설명 대체Basic Configurationhttps://www.haproxy.com/blog/haproxy-configuration-basics-load-balance-your-servers/최소 설정 및 기본 항목에 대한 설명 설치 및 적용 centos 7# install $ sudo yum install haproxy # start$ sudo systemctl start haproxy # status$ sudo systemctl status haproxy● haproxy.service - HAProxy Load..

netstatHost 머신에서 netstat 명령으로 docker container의 네트워크 상태가 확인 안됨 물론 container 내부에서 실행하면 되지만...docker container는 bridge 네트워크 기반으로 운영이 되므로 Host Network 에서는 노출이 안됨 # docker 실행 $ docker run -d -p 8081:80 --name=mvcapp cdecl/mvcapp4fafaf418f84bf6541a1301b4422f825c58fa20b11d1190e87a3e23eea7a6825# Host 에서는 publsh port (listen) 정보만 노출$ netstat -ntl | grep 8081tcp6 0 0 :::8081 :..