devopslog

오픈소스 대형 언어 모델(LLM)이 가파르게 발전하면서, 모델을 로컬 환경이나 자체 서버에서 빠르고 효율적으로 서빙하기 위한 '추론(Inference) 가속 엔진'의 중요성이 커지고 있습니다. 각 도구들은 태생적인 개발 목적과 메인으로 타겟팅하는 하드웨어가 다르기 때문에 상황에 맞는 엔진을 선택하는 것이 필수적입니다.이 글에서는 현재 로컬 구동 및 서버 LLM 서빙 체계의 3대장이라 부를 수 있는 llama.cpp, vLLM, 그리고 MLX의 개발 목적, 기술적 장점, 지원 모델 포맷, 간단한 실행 방법을 비교해 보겠습니다.1. llama.cpp📌 개발 목적 및 플랫폼 언어개발 목적: 초기에는 Apple M시리즈 맥북에서 순수 C/C++만으로 메타(Meta)의 LLaMA 모델을 빠르고 가볍게 구동하기 ..

omlx는 Apple Silicon 환경에서 로컬 LLM을 좀 더 "운영 가능한 서버" 형태로 다루기 위해 만든 도구입니다. 단순히 모델 하나를 띄우는 수준을 넘어, 연속 배칭(continuous batching), SSD 기반 KV 캐시, 멀티 모델 관리, 관리자 대시보드, macOS 메뉴바 앱까지 포함한 것이 특징입니다.한 줄로 요약하면 이렇습니다.MLX는 Apple이 만든 머신러닝 프레임워크입니다.mlx-lm은 MLX 기반으로 LLM을 실행하고 파인튜닝하는 패키지입니다.oMLX는 그 위에서 실제 서비스 운영에 필요한 서버 기능과 관리 UX를 덧붙인 제품에 가깝습니다.즉, oMLX는 "MLX를 대체하는 것"이라기보다, MLX 생태계 위에서 로컬 추론 서버를 더 쉽게 운영하게 해주는 계층이라고 보는 편..

최근 로컬 환경에서 대규모 언어 모델(LLM)을 구동하기 위한 도구들이 눈부시게 발전하고 있습니다. 특히 Apple Silicon(M칩 시리즈)을 탑재한 macOS에서는 디바이스의 하드웨어 리소스를 얼마나 잘 활용하는지에 따라 추론 속도와 메모리 효율이 크게 달라집니다.오늘은 Apple에서 직접 개발한 머신러닝 프레임워크인 MLX에 대해 알아보고, 가장 대중적인 도구인 Ollama와의 비교, 그리고 강력한 성능을 자랑하는 Qwen3.5 9B 모델을 기준으로 로컬 환경을 구성하는 방법을 정리해 보겠습니다.1. MLX란 무엇인가?MLX는 Apple의 머신러닝 연구 팀(Apple Machine Learning Research)에서 Apple Silicon을 위해 특별히 설계한 배열(Array) 및 머신러닝 프..