ChatGPT나 클로드(Claude) 같은 AI에게 똑같은 질문을 두 번 했는데, 답이 매번 조금씩 달랐던 적 있으신가요? 그 '다름'을 우리가 직접 조절할 수 있다면 어떨까요?
AI 도구의 고급 설정이나 API 화면을 열면 Temperature, Top-p, Top-k, Max Tokens 같은 낯선 이름이 줄지어 나옵니다. 뜻을 몰라 그냥 기본값으로 두고 지나친 분이 많을 거예요. (사실 저도 한동안 그랬습니다.)
이 설정들은 어렵게 생긴 이름과 달리 하는 일은 단순합니다. AI가 답을 만들 때 단어를 어떻게 고를지를 정하는 조절 손잡이거든요. 이 글에서는 가장 자주 마주치는 생성 설정 4가지를, 초등학생도 알 수 있게 하나씩 풀어보겠습니다.
먼저 딱 한 가지만 알고 가요. AI는 다음에 올 단어를 고를 때, 여러 후보 단어에 각각 '가능성 점수'를 매깁니다. 그 점수를 놓고 어떤 단어를 뽑을지 정하는 규칙, 그게 바로 아래 손잡이들입니다.
1. 템퍼러처 (Temperature)
답의 무작위성을 정하는 손잡이. 주사위를 얼마나 세게 흔들지 정하는 것과 같아요.
Temperature(템퍼러처)는 '온도'라는 뜻입니다. 값이 낮으면 AI는 가장 가능성 높은 단어만 얌전하게 고르고, 값이 높으면 점수가 낮은 단어까지 과감하게 집어 듭니다. 즉 낮으면 일관되게, 높으면 다양하게죠.
보통 0에서 1 사이 값을 쓰고, 서비스에 따라 2까지 열어 두기도 합니다(출처: OpenAI·Anthropic API 문서). 0에 가까우면 매번 거의 같은 답이 나오고, 높일수록 답이 튀고 참신해집니다. 다만 너무 높이면 어떻게 될까요? 엉뚱한 소리를 할 위험도 함께 커집니다.
이럴 때 써요: 번역이나 요약처럼 정확함이 중요하면 낮게(예: 0.2), 카피 문구나 아이디어 짜기처럼 참신함이 필요하면 높게(예: 0.8) 두세요.
2. 탑피 (Top-p)
가능성 높은 후보부터 차곡차곡 담다가, 정해둔 양이 차면 멈추는 방식. '누적 확률'로 후보를 자릅니다.
Top-p는 '뉴클리어스 샘플링(nucleus sampling)'이라고도 불러요. 후보 단어를 점수 높은 순으로 세운 뒤, 확률을 위에서부터 더해 나갑니다. 그 합이 p 값(예: 0.9)에 닿는 순간, 나머지 후보는 싹 버립니다.
재미있는 점은 후보 개수가 고정이 아니라는 거예요. AI가 확신할 땐 후보가 두세 개로 좁아지고, 애매할 땐 여러 개로 넓어집니다. 상황에 따라 알아서 늘었다 줄었다 하는 셈이죠. 값은 0에서 1 사이를 씁니다.
이럴 때 써요: 다양성은 주되 이상한 단어는 막고 싶을 때 좋아요. 보통 0.9 정도로 두면 무난합니다.
3. 탑케이 (Top-k)
점수 높은 후보 딱 K개만 남기고 나머지는 버리는 방식. 시험에서 상위 몇 등만 뽑는 것과 같아요.
Top-k는 이름 그대로입니다. k가 40이면, 가능성 상위 40개 단어만 후보로 두고 그 안에서 하나를 고릅니다. 41등부터는 아무리 그럴듯해도 기회가 없어요.
Top-p와 비슷해 보이지만 결정적으로 다릅니다. Top-k는 개수를 딱 정해 놓고, Top-p는 확률의 합으로 자릅니다. 그래서 Top-k는 상황과 상관없이 늘 K개, Top-p는 상황에 따라 개수가 바뀝니다. 무엇이 더 좋다기보다, 자르는 기준이 다른 거예요.
이럴 때 써요: 후보 수를 딱 잘라 통제하고 싶을 때 씁니다. 여러 서비스에서 Top-p와 함께 조절할 수 있어요.
4. 맥스 토큰 (Max Tokens)
답이 최대 몇 조각까지 나올 수 있는지 정하는 상한선. 말풍선 크기를 미리 정해 두는 것과 같아요.
토큰(token)은 AI가 글을 다루는 작은 조각이에요. 단어 하나가 여러 토큰이 되기도 합니다. Max Tokens는 답변이 이 조각을 최대 몇 개까지 쓸 수 있는지 정하는 한계선입니다.
값을 작게 잡으면 답이 중간에서 뚝 끊길 수 있어요. 반대로 크게 잡으면 긴 답도 담기지만, 그만큼 처리 시간과 비용이 늘어납니다. 길이만 정할 뿐 답을 억지로 길게 만들지는 않는다는 점도 기억해 두세요.
이럴 때 써요: 짧은 요약이 필요하면 작게, 긴 문서나 코드 생성이 필요하면 넉넉하게 잡으세요.
자주 묻는 질문
Temperature와 Top-p를 둘 다 건드려도 되나요?
기술적으로는 둘 다 조절할 수 있지만, 많은 서비스는 한 번에 하나만 바꾸길 권합니다. 두 손잡이가 같은 '무작위성'을 서로 다른 방식으로 건드리기 때문이에요. 둘을 동시에 크게 바꾸면 결과를 예측하기 어려워집니다. 보통은 Temperature 하나만 조절해도 충분합니다.
기본값 그대로 써도 괜찮을까요?
네, 대부분의 경우 기본값으로도 좋은 답이 나옵니다. 이 설정들은 결과가 마음에 안 들 때 손대는 미세 조정 도구에 가까워요. 답이 너무 뻔하면 Temperature를 조금 올리고, 너무 산만하면 내리는 식으로 접근하면 됩니다.
Max Tokens를 크게 하면 답이 더 똑똑해지나요?
아니요. Max Tokens는 답의 길이 한계만 정할 뿐, 똑똑함이나 품질과는 상관이 없습니다. 오히려 필요 이상으로 크게 잡으면 비용과 시간만 늘 수 있어요. 답이 자꾸 중간에 끊길 때만 값을 키우면 됩니다.
Temperature, Top-p, Top-k, Max Tokens. 이름은 낯설어도 결국 'AI가 답을 어떻게 고를지' 정하는 손잡이 4개였습니다. 오늘부터는 기본값이 아쉬울 때 어떤 손잡이를 돌려야 할지 감이 잡히시겠죠? 작게 바꿔 보며 답이 어떻게 달라지는지 직접 느껴 보는 게 가장 빠릅니다.
다음 편에서는 한 걸음 더 들어가, AI가 이런 답 실력을 갖추기까지 거치는 학습 과정 용어를 풀어볼게요. 사전학습(Pre-training), RLHF, 추론(Inference) 같은 말이 어떻게 이어지는지 살펴보겠습니다.
참고 출처: How do temperature, top-k, and top-p sampling differ?