devopslog

  • 홈
  • 태그
  • 방명록

parameter 1

LLM의 뇌 구조 해부: 파라미터(지식의 숲)와 어텐션(길을 찾는 빛)

최근 GPT, Claude, DeepSeek 같은 대규모 언어 모델(LLM)이 보여주는 놀라운 추론 능력은 어디에서 기인할까요?단순히 데이터를 많이 읽어서일까요? 그 핵심은 방대한 정보를 저장하는 '파라미터(Parameter)'와, 그 정보들 사이에서 맥락을 짚어내는 '어텐션(Attention)'의 상호작용에 있습니다.오늘은 이 두 개념이 어떻게 '연관 지식의 중첩'을 만들고, 실시간으로 변별력 있는 답변을 생성하는지, 나아가 우리가 왜 프롬프트를 잘 써야 하는지 심층적으로 살펴보겠습니다.1. 파라미터(Parameter): 지식이 중첩된 '다차원 도서관'많은 분이 파라미터 개수(예: 7B, 70B 등)를 단순히 'AI의 용량 혹은 크기'로 이해합니다. 하지만 더 정확한 표현은 '지식의 밀도와 중첩도'입니..

devops 2026.03.10
이전
1
다음
더보기
프로필사진

devopslog

✔ Write down what comes to mind

  • 분류 전체보기 (161)
    • dev (44)
    • devops (114)
    • util (3)

Tag

Obsidian, 티스토리챌린지, CMake, macos, AI, minio, 오블완, dev, devops, Linux, docker, Security, k8s, Python, Productivity, llm, cli, C++, automation, kubernetes,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/05   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바