devopslog

MinIO Windows Service 등록MinIO Service 등록WinSWhttps://github.com/winsw/winswWindows 실행 파일을 서비스로 래핑해주는 툴 .NET Framework / Core 기반 Windows 플랫폼에서 실행MinIO Servicehttps://github.com/minio/minio-service/tree/master/windowsWinSW 최신 Release 다운로드 및 XML 설정 파일 작성# choco install curl# 다운로드 $ curl -LO https://github.com/winsw/winsw/releases/download/v2.11.0/WinSW-x64.exe# rename$ move WinSW-x64.exe minio-serv..

SQL Server 대량 복사 프로그램 유틸리티(b ulk c opy p rogram utility, bcp)BCPhttps://docs.microsoft.com/ko-kr/sql/tools/bcp-utilitySQL Server 의 Bulk 대량 데이터 Export 및 Import 유틸리티설치Windows다운로드 : Microsoft® Command Line Utilities 14.0 for SQL Server{:target="_blank"}LinuxSQL Server 의 리눅스 지원으로 사용 가능 Linux에서 SQL Server 명령줄 도구 sqlcmd 및 bcp 설치{:target="_blank"}Export 기본cvs 파일로 테이블(쿼리 데이터) Export $ bcp사용법: bcp {dbtab..

MinIO 101Introductionhttps://docs.min.io/Open Source, S3 Compatible, Enterprise Hardened and Really, Really FastS3 Compatible : Client(mc), SDK (Java, Javascript, Python, Golang, .Net ..)high performance, distributed object storage systemPrivate cloud object storageGetting StartedMinID 는 Golang으로 제작되어 의존성 없는 단일 파일로 운영 가능 Docker의 경우 Alpine linux 로 배포 Downloads : https://min.io/downloadQuickstart ..

MySQL 8 Docker 실행 및 백업, 복원MySQL Docker 실행docker-composedata:/var/lib/mysql : Data 파일 conf.d:/etc/mysql/conf.d : my.cnf 등의 설정파일 root:/root : login-path 사용시 ports : "3380:3306" : mysql port "33800:33060" : mysql-shell port version: '3'services: db: image: mysql:8 container_name: mysql8 command: --default-authentication-plugin=mysql_native_password restart: always environment: ..

ElasticSearch to MySQL ETL준비curl : Http 기반 ElasticSearch Query (SQL)jq : ElasticSearch 결과 JSON 변환 (NDJSON)mysql-shell : MySQL 데이터 Bulk Insert (Json 타입의 Table)ElasticSearch Query curl쿼리 후, 해당 내용 JSON 저장 $ curl -s -XPOST -H 'content-type: application/json' \ -d '{"query" : "select timestamp, activesession, loadavg, processor from \"mysql-perf-*\" limit 100"}' \ 'http://elasticsearch-server:..

Ansible aws_ec2 plugin 활용, AWS EC2 동적 Inventory 구성 Ansible plugin : aws_ec2https://docs.ansible.com/ansible/2.9/plugins/inventory/aws_ec2.htmlGet inventory hosts from Amazon Web Services EC2Requirementspython package : boto3, botocoreYAML 설정 파일 이름이 aws_ec2.(yml|yaml) 로 끝나야 함$ ansible --versionansible 2.9.6 config file = /etc/ansible/ansible.cfg configured module search path = ['/home/cdecl/.an..

MySQL BinLog (Binary Log) 설정 및 확인MySQL Binloghttps://dev.mysql.com/doc/internals/en/binary-log-overview.htmlhttps://dev.mysql.com/doc/refman/5.7/en/replication-options-binary-log.html데이터 수정에 대한 정보를 포함하는 로그 파일 세트Binlog 를 사용하는 목적복제 : 마스터 복제 서버에서 슬레이브 서버로 보낼 명령문의 기록으로 사용데이터 복구 : 백업 파일이 복원된, 특정 시점 이후의 데이터 복구를 위해 사용 Binlog 기록하는 방법 binlog-formatSTATEMENT : 이벤트에는 데이터 변경(삽입, 업데이트, 삭제)을 생성하는 SQL 문이 포함MyS..

Snapshots 기능을 제공하는 modern backup programrestichttps://restic.net/Go로 만들어진 백업 프로그램, 크로스프랫폼 지원- from Linux, BSD, Mac and Windows- to many different storage types, including self-hosted and online services- easily, being a single executable that you can run without a server or complex setup- effectively, only transferring the parts that actually changed in the files you back up- securely, by carefu..

Docker 내부에서 Docker 실행 Docker in Docker : DinDDocker 내부에서 Docker 를 실행 하기 위해서는 추가적인 호스트 머신의 권한을 획득 해야함 --privileged : Give extended privileges to this container호스트 머신의 커널 기능 및 장치에 접근 가능하게 됨--privileged 의 문제점안전하지 않은 컨테이너로 인한 호스트 머신의 커널이나 장치를 활용하여 취약점에 노출되게 됨 http://jpetazzo.github.io/2015/09/03/do-not-use-docker-in-docker-for-ci/서비스 환경에서의 여러가지 약점은 가지고 있지만, Workflow 등의 내부 Devops 툴로서의 유용하다고 판단Docker ..

WSL2 에 Docker 설치 (without Docker Desktop)Docker DesktopDocker Desktop 유료화{:target="_blank"}Docker Desktop remains free for small businesses (fewer than 250 employees AND less than $10 million in annual revenue), personal use, education, and non-commercial open source projects.WSL2 이후, Docker Desktop 의 기능을 따로 사용하지 않아도 CLI 기능으로도 충분개인적으로 Hyper-v VM 사용 권고Docker install without docker desktopWSL2 Ins..