devopslog

오픈소스 대형 언어 모델(LLM)이 가파르게 발전하면서, 모델을 로컬 환경이나 자체 서버에서 빠르고 효율적으로 서빙하기 위한 '추론(Inference) 가속 엔진'의 중요성이 커지고 있습니다. 각 도구들은 태생적인 개발 목적과 메인으로 타겟팅하는 하드웨어가 다르기 때문에 상황에 맞는 엔진을 선택하는 것이 필수적입니다.이 글에서는 현재 로컬 구동 및 서버 LLM 서빙 체계의 3대장이라 부를 수 있는 llama.cpp, vLLM, 그리고 MLX의 개발 목적, 기술적 장점, 지원 모델 포맷, 간단한 실행 방법을 비교해 보겠습니다.1. llama.cpp📌 개발 목적 및 플랫폼 언어개발 목적: 초기에는 Apple M시리즈 맥북에서 순수 C/C++만으로 메타(Meta)의 LLaMA 모델을 빠르고 가볍게 구동하기 ..

omlx는 Apple Silicon 환경에서 로컬 LLM을 좀 더 "운영 가능한 서버" 형태로 다루기 위해 만든 도구입니다. 단순히 모델 하나를 띄우는 수준을 넘어, 연속 배칭(continuous batching), SSD 기반 KV 캐시, 멀티 모델 관리, 관리자 대시보드, macOS 메뉴바 앱까지 포함한 것이 특징입니다.한 줄로 요약하면 이렇습니다.MLX는 Apple이 만든 머신러닝 프레임워크입니다.mlx-lm은 MLX 기반으로 LLM을 실행하고 파인튜닝하는 패키지입니다.oMLX는 그 위에서 실제 서비스 운영에 필요한 서버 기능과 관리 UX를 덧붙인 제품에 가깝습니다.즉, oMLX는 "MLX를 대체하는 것"이라기보다, MLX 생태계 위에서 로컬 추론 서버를 더 쉽게 운영하게 해주는 계층이라고 보는 편..

Andrej Karpathy가 남긴 LLM Wiki는 단순한 아이디어 메모가 아닙니다. 이 글은 "LLM을 검색기처럼 쓰는 방식"에서 한 단계 더 나아가, LLM이 지식을 계속 정리하고 갱신하는 누적형 위키(compounding wiki) 를 어떻게 만들 수 있는지 보여줍니다.DevOps 관점에서 이 아이디어가 흥미로운 이유는 분명합니다. 운영 문서, 장애 보고서, 러닝 노트, 회의록, 런북은 시간이 갈수록 쌓이지만, 그 가치는 자동으로 커지지 않습니다. 오히려 오래될수록 흩어지고, 서로 충돌하고, 찾기 어려워집니다. Karpathy가 제안한 방식은 이 문제를 LLM이 대신 정리하도록 설계합니다.이 글에서는 다음 세 가지를 중심으로 정리합니다.RAG 지식 집적 방식과 Karpathy식 위키 방식의 차이K..

agent-browser는 AI 에이전트가 웹 브라우저를 직접 다루도록 만든 CLI 도구입니다. 단순히 클릭과 입력만 하는 자동화 스크립트가 아니라, 페이지 구조를 스냅샷으로 읽고, ref 기반으로 요소를 조작하고, 세션과 상태를 유지하고, 네트워크와 디버그 정보까지 함께 다룰 수 있도록 설계되어 있습니다.DevOps 관점에서 보면 이 도구의 매력은 분명합니다. 사람이 브라우저에서 하던 반복 작업을 쉘 명령으로 옮길 수 있고, AI 에이전트가 사용할 수 있는 안정적인 웹 조작 인터페이스를 제공합니다. 특히 Playwright를 직접 코드로 짜는 방식보다, 탐색과 검증을 훨씬 빠르게 시도해볼 수 있습니다.1. agent-browser란 무엇인가?agent-browser는 Vercel Labs가 공개한 브라..

생성형 AI 모델(LLM)이 발전함에 따라, 단순히 모델에 질문을 던지는 것을 넘어 AI의 성능을 끌어올리고 원하는 결과를 안전하게 얻어내기 위한 방법론도 빠르게 진화해 왔습니다. 처음에는 AI와 '대화하는 법'을 조율했다면, 이제는 AI에게 '지식을 주입'하고, 나아가 능동적인 AI 에이전트가 활동할 수 있는 '안전하고 자동화된 운영 환경'을 구축하는 단계에 이르렀습니다.이 글에서는 인공지능 제어의 핵심 발전 흐름인 프롬프트 엔지니어링(Prompt Engineering), 컨텍스트 엔지니어링(Context Engineering), 그리고 자율 에이전트의 부상과 함께 각광받는 하네스 엔지니어링(Harness Engineering)의 정의와 특징, 발전 과정, 그리고 핵심 요소를 정리해 보겠습니다. 또한 ..

최근 로컬 환경에서 대규모 언어 모델(LLM)을 구동하기 위한 도구들이 눈부시게 발전하고 있습니다. 특히 Apple Silicon(M칩 시리즈)을 탑재한 macOS에서는 디바이스의 하드웨어 리소스를 얼마나 잘 활용하는지에 따라 추론 속도와 메모리 효율이 크게 달라집니다.오늘은 Apple에서 직접 개발한 머신러닝 프레임워크인 MLX에 대해 알아보고, 가장 대중적인 도구인 Ollama와의 비교, 그리고 강력한 성능을 자랑하는 Qwen3.5 9B 모델을 기준으로 로컬 환경을 구성하는 방법을 정리해 보겠습니다.1. MLX란 무엇인가?MLX는 Apple의 머신러닝 연구 팀(Apple Machine Learning Research)에서 Apple Silicon을 위해 특별히 설계한 배열(Array) 및 머신러닝 프..

macOS를 사용하다 보면 대용량 파일 다운로드, 긴 빌드 작업, 또는 백그라운드 스크립트 실행 등을 위해 화면이 꺼지거나 시스템이 잠자기에 들지 않도록 설정해야 할 때가 있습니다. 이를 위해 사용하는 대표적인 두 가지 방식이 CLI 기반의 caffeinate 명령어와 GUI 기반의 Amphetamine 앱입니다.이 글에서는 두 도구의 기능과 옵션을 면밀히 비교하고, 작업 환경에 따른 제어 방법, 그리고 맥북 유저들의 고민거리인 클램쉘 모드(Clamshell Mode)에서의 동작 차이까지 종합적으로 정리해 보겠습니다.1. 내장 명령어 caffeinatecaffeinate는 macOS에 기본 탑재된 커맨드라인 유틸리티로, 별도의 앱 설치 없이 터미널에서 즉시 사용할 수 있습니다. 스크립트나 자동화 파이프라..

Claude Code를 쓰고 싶은데 유료 API 비용이 부담될 때, 실무에서는 보통 두 가지 경로를 사용합니다.Ollama 기반 로컬 모델 연결free-claude-code 같은 호환 레이어를 통해 NVIDIA NIM, OpenRouter, LM Studio 백엔드 연결이 글은 각 방식의 배경, 설치/설정 방법, 그리고 운영 시 주의점을 정리합니다.왜 "무료 플랜" 구성이 필요한가코드 에이전트는 반복 호출이 많아 토큰 비용이 빠르게 증가합니다.개인 프로젝트나 학습 단계에서는 응답 품질보다 비용 상한이 더 중요할 수 있습니다.팀 환경에서는 "무조건 최신 고가 모델"보다 "저비용 + 재현 가능한 워크플로"가 더 실용적입니다.핵심은, Claude Code UX를 유지하면서 백엔드를 교체하는 것입니다.방법 1)..

AI 에이전트를 구축할 때, LLM이 외부 도구를 사용하게 만드는 과정은 필수적입니다. 하지만 최근 등장한 MCP(Model Context Protocol)와 기존의 Function/Tool Calling은 비슷해 보이면서도 구조적으로 큰 차이가 있습니다. 오늘은 이 두 방식의 특징과 실제 구현 관점에서의 차이를 상세히 비교해 보겠습니다.1. 한눈에 보는 비교 요약구분일반 Tool Calling (기존 방식)MCP (Model Context Protocol)핵심 개념함수 정의와 실행 로직의 수동 연결도구의 정의와 실행이 결합된 표준화된 서버실행 주체에이전트 애플리케이션 (Local, Tightly Coupled)독립된 MCP 서버 (Remote/Isolated)통신 규격모델별 전용 API (OpenAI,..

OpenClaw, Claude 데스크톱 앱, 혹은 로컬 기반의 여러 AI 에이전트들은 내부적으로 LLM(대형 언어 모델)과 어떻게 소통하고, 로컬 환경의 도구(Tool)들을 사용할까요? 이 글에서는 에이전트가 LLM과 인터페이스를 맺는 기술적 구현 내용과 핵심 요소들을 살펴봅니다.1. 지침 파일(agent.md 등) 적용 방법AI 에이전트의 페르소나, 역할, 기본 규칙을 정의하기 위해 주로 .md 형태의 지침 파일을 사용합니다. (예: agent.md, system_prompt.txt, SOUL.md 등)기술적 구현:이러한 지침 파일은 LLM에 전달되는 시스템 프롬프트(System Prompt)로 로드됩니다. 에이전트 프로그램이 실행될 때 혹은 세션이 시작될 때 파일 시스템에서 문서를 읽어 LLM의 sy..