LLM의 뇌 구조 해부: 파라미터(지식의 숲)와 어텐션(길을 찾는 빛)

최근 GPT, Claude, DeepSeek 같은 대규모 언어 모델(LLM)이 보여주는 놀라운 추론 능력은 어디에서 기인할까요?
단순히 데이터를 많이 읽어서일까요? 그 핵심은 방대한 정보를 저장하는 '파라미터(Parameter)'와, 그 정보들 사이에서 맥락을 짚어내는 '어텐션(Attention)'의 상호작용에 있습니다.

오늘은 이 두 개념이 어떻게 '연관 지식의 중첩'을 만들고, 실시간으로 변별력 있는 답변을 생성하는지, 나아가 우리가 왜 프롬프트를 잘 써야 하는지 심층적으로 살펴보겠습니다.

---

1. 파라미터(Parameter): 지식이 중첩된 '다차원 도서관'

많은 분이 파라미터 개수(예: 7B, 70B 등)를 단순히 'AI의 용량 혹은 크기'로 이해합니다. 하지만 더 정확한 표현은 '지식의 밀도와 중첩도'입니다.

• 지식의 압축과 중첩: 학습 과정에서 LLM은 수조 개의 문장을 읽으며 단어와 단어, 개념과 개념 사이의 관계를 수치(가중치)로 저장합니다. 파라미터가 많을수록 이 관계망은 더 세밀해집니다.
• 고차원 벡터 공간: 70B(700억 개) 모델은 7B 모델보다 훨씬 더 넓은 '좌표 평면'을 가집니다. 이 공간 안에서 '사과'라는 데이터는 '과일', '뉴턴', '스티브 잡스', '빨간색' 등의 수많은 개념과 중첩된 상태로 존재합니다.
• 추론의 임계점: 파라미터가 일정 수준을 넘어서면 지식들이 서로 촘촘하게 연결되면서, 학습하지 않은 논리적 문제도 해결하는 '창발적 능력(Emergent Abilities)'이 나타납니다.

---

2. 어텐션(Attention): 고정된 가중치에 생명력을 불어넣는 돋보기

파라미터가 '잠들어 있는 지식의 숲'이라면, 어텐션은 사용자의 질문에 따라 그 숲의 특정 경로에 불을 밝히는 작업(연산)입니다.

Q, K, V의 수학적 협력

어텐션 메커니즘은 모든 입력 데이터를 동시에 훑으며 Query(지금 필요한 것)와 가장 잘 맞는 Key(데이터의 특징)를 찾아 그 결과값인 Value(내용)를 추출합니다.

• 동적 활성화: 모델이 학습을 마치면 파라미터(가중치)는 완전히 고정됩니다. 하지만 어텐션은 사용자의 질문이나 현재 문맥에 따라 어떤 파라미터를 '더 중요하게(High Weight)' 사용할지 실시간으로 결정합니다.
• 문맥의 변별: "배가 아프다"와 "배를 타다"에서 '배'는 같은 단어지만, 어텐션은 주변 단어('아프다' vs '타다')를 보고 서로 다른 지식 영역(신체 vs 교통수단)을 활성화합니다.

---

3. LLM의 이해를 돕는 세 가지 추가 지식

LLM의 작동 방식을 더 명확히 이해하기 위해 토큰화, 컨텍스트 윈도우, 인컨텍스트 러닝의 개념을 추가로 알아두면 좋습니다.

① 토큰화(Tokenization): 지식의 최소 단위

LLM은 글자를 그대로 읽지 않고 의미 단위인 '토큰(Token)'으로 쪼개어 숫자로 변환합니다.
"어텐션은 위대하다"라는 문장은 규칙에 따라 [어텐션, 은, 위대, 하다] 처럼 쪼개져 임베딩 공간으로 들어갑니다. 파라미터와 어텐션 연산은 모두 이 '토큰'을 단위로 이루어집니다. 다국어 모델에서 한글 처리 효율은 토큰을 어떻게 나누느냐에 크게 좌우됩니다.

② 컨텍스트 윈도우(Context Window): 어텐션의 시야각

어텐션은 마법이 아닙니다. 모델이 한 번에 고려할 수 있는 토큰의 최대 개수를 '컨텍스트 윈도우'라고 부릅니다.
컨텍스트 윈도우가 128K라는 것은, 약 10만 단어 분량의 문맥 속에서 어텐션이 핵심 정보를 찾아낼 수 있다는 뜻입니다. 주의할 점은 어텐션 연산 비용은 입력 길이의 제곱(N²)에 비례해 증가하기 때문에, 무작정 정보를 쑤셔 넣으면 최적의 '중첩'을 찾아내는 효율(Needle in a haystack 문제)이 떨어질 수 있습니다.

③ 프롬프트 엔지니어링과 In-Context Learning (ICL)

이미 학습이 끝나 고정된 파라미터를 가진 모델이 어떻게 새로운 문제를 풀 수 있을까요? 바로 인컨텍스트 러닝(In-Context Learning) 덕분입니다.
우리가 프롬프트(명령어)에 예시나 구체적인 맥락을 주어주면, 어텐션이 실시간으로 그 프롬프트 내의 토큰들을 엮어 임시적인 논리 구조를 만듭니다. 즉, 프롬프트를 잘 쓴다는 것은 어텐션이 파라미터 창고에서 지식을 가장 잘 꺼내올 수 있도록 최적의 조명 각도를 세팅해 주는 것과 같습니다.

---

4. 지식의 중첩이 답변으로 변하는 과정 (The Workflow)

사용자가 질문을 던졌을 때 LLM 내부에서 일어나는 일은 다음과 같이 요약할 수 있습니다.

1. 토큰화 & 임베딩(Embedding): 질문의 단어들이 숫자로 잘리고, 수천 차원의 공간 속 좌표(점)로 변환됩니다.
2. 어텐션 연산: 이 좌표(Query)들이 기존에 학습된 파라미터(Key)들과 부딪히며, 프롬프트의 맥락(Context Window 내)을 고려해 가장 연관성 높은 지식들의 '중첩' 영역을 찾아냅니다.
3. 가중합(Weighted Sum): 선택된 지식들에 어텐션 스코어만큼의 에너지를 배분하여 결합합니다.
4. 결과 생성: 중첩된 지식들 사이에서 가장 확률적으로 적절한 다음 토큰을 계산해 내뱉습니다. 이 과정이 문장이 완성될 때까지 반복됩니다.

---

5. 요약: 왜 파라미터와 어텐션은 함께 가야 하는가?

• 파라미터만 많고 어텐션이 없다면? 거대한 도서관에 사서가 없는 것과 같습니다. 지식은 무한하지만 필요할 때 꺼내 쓸 방법(문맥 파악)이 없습니다.
• 어텐션만 있고 파라미터가 적다면? 영리한 사서는 있지만 서재가 텅 비어있는 것과 같습니다. 질문의 맥락은 파악하지만 깊이 없는 답변만 반복하게 됩니다.

결국 파라미터가 만든 지식의 중첩을 어텐션이 정교하게 변별해내고, 이 과정이 적절한 컨텍스트 윈도우와 프롬프트를 통해 유도될 때, 비로소 우리가 열광하는 '인간다운 AI'가 탄생하는 것입니다.

---

마치며: Obsidian(Vault) 노트를 위한 시사점

LLM을 단순한 '마법의 검색 엔진'이 아니라, "파라미터라는 중첩된 지식 공간 안에서 어텐션이라는 라이트(빛)를 통해 길을 찾는 시스템"으로 이해해야 합니다.

실무에서 AI를 활용하거나, Obsidian(Vault) 같은 나만의 지식 관리 시스템을 구축할 때도 이 원리는 유효합니다. 지식(노트, 파라미터)을 아무리 많이 쌓아도, 그 사이의 맥락을 연결하는 연결 고리(링크, 어텐션)가 부실하면 원하는 정보를 정확히 꺼내지 못하게 되기 때문입니다.