AI를 얼마간 써 보면 '왜 아까 한 말을 벌써 잊었지?', '왜 얘는 자꾸 딴소리하지?' 같은 순간을 만납니다. 분명 똑똑한데, 어딘가 답답하셨죠?
사실 그 답답함의 뒤에는 몇 가지 '작동 원리' 용어가 숨어 있습니다. 이 원리를 알면, AI가 왜 그렇게 굴었는지 이해되고 훨씬 잘 다루게 돼요. 자동차 계기판을 읽을 줄 알면 운전이 편해지는 것처럼요.
그래서 오늘은 AI를 한 단계 더 잘 쓰게 해주는 용어 4가지를, 초등학생도 따라올 수 있게 풀어 드리겠습니다.
오늘 배울 용어, 한눈에 보기
오늘의 주인공은 이 네 단어입니다. 조금 기술적으로 들리지만, 하나같이 '왜 AI가 이렇게 답할까?'에 대한 답을 품고 있어요. 알아 두면 두고두고 쓸모가 있습니다.
그냥 챗봇과 AI 에이전트는 뭐가 다를까요?
큰 그림 하나만 먼저 볼까요? 지금까지 쓰던 AI 챗봇은 '묻는 말에 답하는' 데 그쳤습니다. 반면 오늘 마지막에 나올 AI 에이전트는 스스로 계획을 세워 '직접 일을 처리'해요. 이 차이가 최근 AI 흐름의 핵심입니다.
자, 그럼 하나씩 짚어 보겠습니다.
1. 컨텍스트 윈도우 (Context window)
AI가 한 번에 기억하고 볼 수 있는 '글의 최대 분량'이에요. 한눈에 펼쳐 볼 수 있는 책상 크기라고 생각하면 쉽습니다.
컨텍스트 윈도우(Context window)는 AI가 한 대화에서 동시에 다룰 수 있는 글의 양을 뜻하고, 그 크기는 앞서 배운 '토큰' 수로 잽니다. 이 창을 넘어서면, 앞부분 내용이 책상 밖으로 밀려나듯 잊혀요. AI가 긴 대화 초반을 깜빡하는 이유가 바로 이것입니다.
이 창이 클수록 긴 문서 전체를 한 번에 이해시킬 수 있습니다. 그래서 모델을 소개할 때 "컨텍스트 윈도우가 얼마나 큰가"가 중요한 자랑거리가 되죠.
이럴 때 써요: "컨텍스트 윈도우를 넘었나 봐요"는 "대화가 너무 길어져 앞 내용을 잊었나 봐요"라는 뜻입니다.
2. 시스템 프롬프트 (System prompt)
대화 뒤에 숨어서 AI의 역할과 말투를 미리 정해 두는 '기본 지시문'이에요. 연극 배우에게 미리 건네는 배역 설명서와 같습니다.
시스템 프롬프트(System prompt)는 우리가 직접 보지는 못하지만, 대화가 시작되기 전에 AI에게 주어지는 밑바탕 지시입니다. "너는 친절한 상담원이야"처럼 역할과 태도를 정해 두는 것이죠. 같은 질문에도 챗봇마다 말투가 다른 건, 대개 이 시스템 프롬프트가 다르기 때문이에요.
우리가 매번 입력하는 프롬프트가 '주문'이라면, 시스템 프롬프트는 가게의 '기본 접객 방침'인 셈입니다. 눈에 안 보여도 답변의 성격을 크게 좌우해요.
이럴 때 써요: "시스템 프롬프트에서 역할을 정해 뒀어요"는 "AI의 기본 성격을 미리 설정했다"는 뜻입니다.
3. RAG (검색 증강 생성)
답하기 전에 관련 자료를 먼저 '검색'해서, 그 내용을 근거로 답을 만드는 방식이에요. 시험 볼 때 책을 펴 놓고 푸는 오픈북과 같습니다.
RAG는 Retrieval-Augmented Generation, 우리말로 '검색 증강 생성'입니다. AI가 기억에만 의존하지 않고, 문서나 데이터베이스에서 관련 내용을 찾아본 뒤 그것을 바탕으로 답하는 구조예요. 앞서 배운 '환각'을 줄이는 대표적인 방법이기도 합니다.
회사 내부 문서를 학습시키지 않고도, RAG로 자료만 연결하면 그 내용을 근거로 답하게 만들 수 있어요. 그래서 업무용 AI 서비스에서 아주 널리 쓰입니다.
이럴 때 써요: "RAG로 우리 문서를 연결했어요"는 "AI가 우리 자료를 찾아보고 답하도록 했다"는 뜻입니다.
4. AI 에이전트 (AI agent)
스스로 계획을 세우고 여러 도구를 써서, 일을 '직접' 처리하는 AI예요. 시키면 알아서 척척 해내는 유능한 비서를 떠올려 보세요.
AI 에이전트(AI agent)는 단순히 답만 하는 것을 넘어, 목표를 받으면 스스로 단계를 나누고 필요한 도구를 골라 실행까지 하는 AI입니다. 예를 들어 "다음 주 회의 일정 잡아 줘"라고 하면, 달력을 확인하고 메일을 보내는 일까지 이어서 해내는 식이에요.
지금까지의 챗봇이 '조언자'였다면, AI 에이전트는 '실무자'에 가깝습니다. 최근 AI 업계가 가장 뜨겁게 밀고 있는 방향이기도 하죠.
이럴 때 써요: "이건 AI 에이전트야"는 "묻는 말에 답만 하는 게 아니라, 일을 직접 실행한다"는 뜻입니다.
자주 묻는 질문
컨텍스트 윈도우가 크면 무조건 좋은가요?
긴 문서를 한 번에 다루기엔 분명 유리합니다. 다만 창이 크다고 모델이 항상 더 똑똑한 건 아니고, 그만큼 토큰을 많이 써 비용이 늘 수 있어요. 다루려는 글의 길이에 맞춰 선택하는 것이 현명합니다.
RAG와 파인튜닝은 뭐가 다른가요?
파인튜닝은 AI 자체를 추가로 '학습'시키는 것이고, RAG는 학습 없이 필요할 때 자료를 '찾아보게' 하는 방식입니다. RAG는 자료만 바꾸면 바로 최신 내용을 반영할 수 있어, 자주 바뀌는 정보에 특히 잘 맞아요.
AI 에이전트는 지금 바로 쓸 수 있나요?
이미 일정 관리, 자료 조사, 코딩 같은 분야에서 조금씩 쓰이고 있습니다. 다만 아직 완벽하지 않아 중요한 일은 사람이 최종 확인하는 것이 안전해요. 앞으로 가장 빠르게 발전할 분야로 꼽힙니다.
마치며, 다음 편 예고
오늘은 AI를 더 잘 쓰게 해주는 네 단어, 컨텍스트 윈도우·시스템 프롬프트·RAG·AI 에이전트를 풀어 봤습니다. 이 정도면 AI가 왜 그렇게 답하는지, 한결 또렷하게 보이시죠?
이로써 'AI 기본 용어' 묶음이 마무리됩니다. 다음 편부터는 주제를 옮겨, 마케팅에서 돈의 흐름을 읽는 '수익 지표' 4가지 — ROAS·ROI·LTV·CAC를 쉽게 정리해 드릴게요. 숫자가 무섭지 않아지는 그날까지, 다음에도 함께 가요.
이 시리즈의 다른 글
- AI 대화에 꼭 나오는 용어 6가지 — LLM·프롬프트·토큰·파라미터·환각·파인튜닝
- AI 뉴스에 자주 나오는 용어 6가지 — 생성형 AI·멀티모달·추론 모델·오픈소스·온디바이스·AGI
참고 출처: Google Cloud 생성형 AI 용어집