"이 모델은 70B 파라미터에 128K 컨텍스트" — AI 뉴스에서 이런 숫자를 보고, 무슨 말인지 아리송했던 적 있으신가요?
파라미터, 토큰, 컨텍스트 윈도우, 추론. AI 기사에 빠지지 않고 등장하지만, 막상 뜻을 콕 집어 설명하려면 말문이 막히죠. 알파벳과 숫자가 뒤섞여 더 딱딱하게 느껴지기도 합니다.
그래서 오늘은 AI 모델을 이해하는 네 가지 핵심 단어를, 사람의 뇌와 대화에 빗대어 쉽게 풀어 드릴게요. 이 넷만 알면 AI 뉴스가 한결 잘 읽힙니다.
1. 파라미터 (Parameter)
AI가 학습하며 스스로 맞춰 놓은 내부 숫자. 뇌로 치면 '연결의 세기'예요.
모델은 공부하는 동안 수많은 값을 조금씩 조정해 갑니다. 이 값 하나하나가 파라미터예요. "70B 파라미터"는 이런 값이 700억 개라는 뜻이죠. 대체로 많을수록 더 복잡한 것을 배울 수 있지만, 그만큼 무거워집니다. 뇌의 신경 연결이 촘촘할수록 똑똑해지는 것과 비슷해요.
이럴 때 써요: "이번 모델은 파라미터를 키우는 대신, 더 영리하게 쓰는 데 집중했대요."
2. 토큰 (Token)
AI가 글을 잘게 쪼갠 처리 단위. 한 입 크기로 자른 '글자 조각'이에요.
AI는 문장을 통째로 삼키지 않고, 토큰이라는 작은 조각으로 나눠 처리합니다. 보통 한 단어가 한두 개의 토큰이 돼요. 우리가 내는 요금이나 한 번에 넣을 수 있는 글의 길이도 모두 이 토큰 수로 셉니다. 그래서 "토큰이 많이 든다"는 말은 곧 글이 길어 돈이 더 든다는 뜻이죠.
이럴 때 써요: "입력이 너무 길어 토큰을 많이 먹으니, 핵심만 추려서 넣자."
3. 컨텍스트 윈도우 (Context Window)
AI가 한 번에 살펴볼 수 있는 글의 최대량. AI의 '단기 기억' 크기예요.
사람도 대화가 너무 길어지면 앞부분을 잊곤 하죠. AI도 마찬가지예요. 컨텍스트 윈도우는 "여기까지는 한꺼번에 보고 기억할 수 있다"는 한계선이고, 역시 토큰 수로 잽니다. "128K 컨텍스트"는 약 12만 8천 토큰까지 담을 수 있다는 뜻이에요. 이 창이 클수록 긴 문서도 통째로 다룰 수 있습니다.
이럴 때 써요: "문서가 창보다 길면 뒷부분이 잘리니, 컨텍스트 윈도우가 큰 모델을 쓰자."
4. 추론 (Inference)
다 배운 AI가 실제로 답을 만들어 내는 일. 시험 준비가 아니라 '실전'이에요.
AI를 만드는 과정은 크게 둘로 나뉩니다. 잔뜩 공부하는 학습(training), 그리고 배운 것으로 실제 질문에 답하는 추론(inference)이죠. 우리가 챗봇에게 무언가 물을 때마다 벌어지는 일이 바로 추론입니다. 답 하나를 만들 때마다 계산이 돌아가기 때문에, 이 추론 비용이 곧 서비스 운영비가 돼요.
이럴 때 써요: "사용자가 늘면 추론 비용도 함께 뛰니, 효율 좋은 모델을 골라야 해요."
자주 묻는 질문
파라미터가 많으면 무조건 좋은 건가요?
꼭 그렇지는 않습니다. 파라미터가 많으면 더 복잡한 것을 배울 여력은 커지지만, 그만큼 돌리는 데 비용과 시간이 더 듭니다. 요즘은 무작정 크기를 키우기보다, 작아도 똑똑하게 학습한 모델이 좋은 성능을 내는 경우도 많아요. 크기와 성능이 항상 비례하지는 않습니다.
토큰과 컨텍스트 윈도우는 어떻게 다른가요?
토큰은 글을 세는 '단위'이고, 컨텍스트 윈도우는 그 토큰을 한 번에 몇 개까지 담을 수 있는지를 나타내는 '그릇의 크기'입니다. 토큰이 낱개의 벽돌이라면, 컨텍스트 윈도우는 한 번에 실어 나르는 수레의 크기라고 보면 쉬워요.
학습과 추론은 뭐가 다른가요?
학습은 AI가 데이터를 보며 실력을 쌓는 '공부 단계'이고, 추론은 그 실력으로 실제 질문에 답하는 '실전 단계'입니다. 학습은 보통 한 번 크게 하고, 추론은 사용자가 쓸 때마다 계속 일어나요. 그래서 서비스 운영에서는 추론 비용을 얼마나 아끼느냐가 중요합니다.
지금까지 AI 모델을 이해하는 네 가지 뼈대 단어를 살펴봤습니다. 모델의 크기와 기억, 실행 원리를 알았으니, 다음은 그 출력을 우리 마음대로 조절하는 손잡이들을 볼 차례겠죠? 다음 편에서는 AI의 답을 다듬는 조절 값 용어 — 온도(temperature), 탑피(top-p), 시드, 스트리밍을 쉽고 찬찬하게 정리해 드릴게요.