devopslog

MySQL 8 Docker 실행 및 백업, 복원MySQL Docker 실행docker-composedata:/var/lib/mysql : Data 파일 conf.d:/etc/mysql/conf.d : my.cnf 등의 설정파일 root:/root : login-path 사용시 ports : "3380:3306" : mysql port "33800:33060" : mysql-shell port version: '3'services: db: image: mysql:8 container_name: mysql8 command: --default-authentication-plugin=mysql_native_password restart: always environment: ..

ElasticSearch to MySQL ETL준비curl : Http 기반 ElasticSearch Query (SQL)jq : ElasticSearch 결과 JSON 변환 (NDJSON)mysql-shell : MySQL 데이터 Bulk Insert (Json 타입의 Table)ElasticSearch Query curl쿼리 후, 해당 내용 JSON 저장 $ curl -s -XPOST -H 'content-type: application/json' \ -d '{"query" : "select timestamp, activesession, loadavg, processor from \"mysql-perf-*\" limit 100"}' \ 'http://elasticsearch-server:..

Ansible aws_ec2 plugin 활용, AWS EC2 동적 Inventory 구성 Ansible plugin : aws_ec2https://docs.ansible.com/ansible/2.9/plugins/inventory/aws_ec2.htmlGet inventory hosts from Amazon Web Services EC2Requirementspython package : boto3, botocoreYAML 설정 파일 이름이 aws_ec2.(yml|yaml) 로 끝나야 함$ ansible --versionansible 2.9.6 config file = /etc/ansible/ansible.cfg configured module search path = ['/home/cdecl/.an..

MySQL BinLog (Binary Log) 설정 및 확인MySQL Binloghttps://dev.mysql.com/doc/internals/en/binary-log-overview.htmlhttps://dev.mysql.com/doc/refman/5.7/en/replication-options-binary-log.html데이터 수정에 대한 정보를 포함하는 로그 파일 세트Binlog 를 사용하는 목적복제 : 마스터 복제 서버에서 슬레이브 서버로 보낼 명령문의 기록으로 사용데이터 복구 : 백업 파일이 복원된, 특정 시점 이후의 데이터 복구를 위해 사용 Binlog 기록하는 방법 binlog-formatSTATEMENT : 이벤트에는 데이터 변경(삽입, 업데이트, 삭제)을 생성하는 SQL 문이 포함MyS..

Snapshots 기능을 제공하는 modern backup programrestichttps://restic.net/Go로 만들어진 백업 프로그램, 크로스프랫폼 지원- from Linux, BSD, Mac and Windows- to many different storage types, including self-hosted and online services- easily, being a single executable that you can run without a server or complex setup- effectively, only transferring the parts that actually changed in the files you back up- securely, by carefu..

Docker 내부에서 Docker 실행 Docker in Docker : DinDDocker 내부에서 Docker 를 실행 하기 위해서는 추가적인 호스트 머신의 권한을 획득 해야함 --privileged : Give extended privileges to this container호스트 머신의 커널 기능 및 장치에 접근 가능하게 됨--privileged 의 문제점안전하지 않은 컨테이너로 인한 호스트 머신의 커널이나 장치를 활용하여 취약점에 노출되게 됨 http://jpetazzo.github.io/2015/09/03/do-not-use-docker-in-docker-for-ci/서비스 환경에서의 여러가지 약점은 가지고 있지만, Workflow 등의 내부 Devops 툴로서의 유용하다고 판단Docker ..

WSL2 에 Docker 설치 (without Docker Desktop)Docker DesktopDocker Desktop 유료화{:target="_blank"}Docker Desktop remains free for small businesses (fewer than 250 employees AND less than $10 million in annual revenue), personal use, education, and non-commercial open source projects.WSL2 이후, Docker Desktop 의 기능을 따로 사용하지 않아도 CLI 기능으로도 충분개인적으로 Hyper-v VM 사용 권고Docker install without docker desktopWSL2 Ins..

https://docs.docker.com/engine/swarm/Docker Swarm NodeManager Node 초기화https://docs.docker.com/engine/reference/commandline/swarm_init/초기화 Initialize a swarmdocker swarm init$ docker swarm initSwarm initialized: current node (bvz81updecsj6wjz393c09vti) is now a manager.To add a worker to this swarm, run the following command: docker swarm join \ --token SWMTKN-1-3pu6hszjas19xyp7ghgosyx9k8at..

xargs - 효율적인 명령어 인수 처리와 병렬 실행xargs 명령어: 효율적인 명령어 확장과 파라미터 전달xargs 명령어는 한 명령어의 출력을 다른 명령어의 인수로 전달할 때 유용하게 사용됩니다. 특히 명령어의 파라미터가 길어지거나 여러 파일, 디렉토리를 대상으로 명령어를 실행해야 할 때 xargs를 사용하면 성능과 효율성을 높일 수 있습니다.주요 옵션과 활용 예시1. 기본 사용법xargs는 기본적으로 표준 입력에서 받은 데이터를 공백 또는 개행으로 구분하여 후속 명령어의 인수로 전달합니다.예시:echo "file1 file2 file3" | xargs ls -lfile1, file2, file3을 ls -l의 인수로 전달하여 파일의 상세 정보를 출력합니다.옵션설명예제 사용-L입력을 지정된 줄 단위로..

네트워크 보안 툴 arpspoof와 fragrouter 사용법 및 ARP 스푸핑 원리1. ARP (주소 결정 프로토콜)란?1. 정의ARP(Address Resolution Protocol)는 IP 네트워크에서 네트워크 계층의 IP 주소를 데이터 링크 계층의 MAC(Media Access Control) 주소로 변환하는 프로토콜입니다.이를 통해 로컬 네트워크에서 IP 패킷이 올바른 물리적 네트워크 장치로 전달될 수 있습니다.2. 작동 원리ARP는 다음과 같은 과정으로 작동합니다:ARP 요청 (Request)송신 호스트가 목적지 호스트의 MAC 주소를 모를 때, ARP 요청 패킷을 브로드캐스트로 네트워크에 전송합니다.이 요청 패킷에는 송신 호스트의 IP 주소와 MAC 주소, 그리고 목적지 호스트의 IP 주소..