AI에게 요즘 소식이나 우리 회사 규정을 물었더니, 자신 있게 엉뚱한 답을 내놓은 적 있으신가요?
AI는 학습해 둔 기억만으로 답하기 때문에, 최신 정보나 내부 자료는 모릅니다. 그래서 없는 사실을 그럴듯하게 지어내기도 하죠. 이 문제를 푸는 방법이 바로 요즘 AI 서비스가 앞다퉈 쓰는 'RAG'입니다.
그래서 오늘은 AI가 자료를 찾아 더 똑똑하게 답하도록 만드는 네 단계 용어를 초등학생도 알 수 있게 풀어보겠습니다. 순서대로 따라오면 하나의 흐름으로 이어집니다.
1. RAG (Retrieval-Augmented Generation)
RAG는 AI에게 자료를 찾아 쥐여 주고 답하게 하는 방법입니다. 오픈북 시험이라고 생각하면 쉬워요.
보통 AI는 외운 기억만으로 답합니다. 그래서 최신 내용이나 우리 회사 문서는 모르죠. RAG(Retrieval-Augmented Generation·검색 증강 생성)는 질문이 들어오면 먼저 관련 자료를 찾아 AI 앞에 붙여 줍니다. AI는 그 자료를 읽고 답을 만들어요. 덕분에 최신 정보도 답하고, 없는 사실을 지어내는 실수(할루시네이션)도 줄어듭니다. 외워서 보는 시험과 책을 펴 놓고 보는 시험, 어느 쪽이 더 정확할까요?
이럴 때 써요: "회사 규정을 물으면 엉뚱한 답을 하니, RAG로 규정 문서를 붙여 주자."
2. 청킹 (Chunking)
청킹은 긴 문서를 작은 덩어리로 나누는 일입니다. 두꺼운 책을 챕터별로 쪼개는 것과 같아요.
문서 하나가 수백 장이면 통째로 찾기도, 붙이기도 어렵습니다. 그래서 미리 알맞은 크기의 조각으로 잘라 둡니다. 이 조각 하나가 청크(Chunk), 자르는 일이 청킹(Chunking)이에요. 너무 크게 자르면 필요 없는 내용까지 딸려오고, 너무 잘게 자르면 앞뒤 맥락이 끊깁니다. 그래서 '얼마나 크게 자를까'가 늘 고민거리죠(잘라 놓고 후회하는 게 일입니다).
이럴 때 써요: "청크를 너무 잘게 나눴더니 문맥이 끊겨서 답이 이상해졌어."
3. 리트리벌 (Retrieval)
리트리벌은 질문에 딱 맞는 조각을 찾아오는 단계입니다. 도서관 사서가 필요한 책만 골라 오는 것과 같아요.
잘라 둔 수많은 조각 중에서, 지금 질문과 가장 관련 있는 것만 골라 오는 일이 리트리벌(Retrieval·검색·인출)입니다. 이때 글자가 똑같은지가 아니라 '뜻이 비슷한지'로 찾는 경우가 많아요. 그래서 뜻을 숫자로 바꿔 놓은 지도, 즉 임베딩을 활용합니다. 좋은 조각을 못 찾아오면 아무리 똑똑한 AI라도 헛다리를 짚겠죠?
이럴 때 써요: "리트리벌이 관련 없는 문단을 가져와서 답 품질이 떨어졌네."
4. 리랭킹 (Reranking)
리랭킹은 찾아온 조각을 좋은 순서로 다시 줄 세우는 단계입니다. 예선 통과자를 결승에서 다시 심사하는 것과 같아요.
리트리벌이 후보를 열 개쯤 데려와도, 그중 정말 쓸 만한 건 두세 개뿐일 때가 많습니다. 리랭킹(Reranking·재정렬)은 이 후보들을 더 꼼꼼히 다시 평가해 순위를 매깁니다. 그래서 AI 앞에는 가장 좋은 조각만 위로 올라가요. 처음 검색은 빠르게 넓게, 리랭킹은 느려도 정확하게. 둘을 나눠 쓰면 속도와 정확도를 함께 챙길 수 있습니다.
이럴 때 써요: "리랭킹을 넣었더니 엉뚱한 자료가 밑으로 밀려서 답이 깔끔해졌어."
자주 묻는 질문
리트리벌과 리랭킹은 둘 다 자료를 고르는 건데 뭐가 다른가요?
리트리벌은 수많은 조각 중에서 후보를 '빠르게 넓게' 찾아오는 1차 단계이고, 리랭킹은 그 후보들만 '느리지만 꼼꼼하게' 다시 줄 세우는 2차 단계입니다. 리트리벌이 예선, 리랭킹이 결승이라고 보면 됩니다. 그래서 보통 리트리벌로 넓게 건진 뒤 리랭킹으로 좁히는 순서로 함께 씁니다.
RAG를 쓰면 AI가 거짓말(할루시네이션)을 아예 안 하나요?
줄여 주지만 완전히 없애 주지는 않습니다. 근거 자료를 붙여 주니 지어내는 답은 확실히 줄어들어요. 다만 엉뚱한 자료를 찾아오거나 자료를 잘못 읽으면 여전히 틀릴 수 있습니다. 그래서 자료를 잘 자르고(청킹) 잘 찾아오는(리트리벌·리랭킹) 앞 단계가 그만큼 중요합니다.
청크는 무조건 잘게 나눌수록 좋은가요?
그렇지 않습니다. 너무 잘게 나누면 앞뒤 맥락이 끊겨 뜻이 흐려지고, 너무 크게 나누면 필요 없는 내용까지 섞여 들어옵니다. 문서 종류와 질문 유형에 따라 알맞은 크기가 달라지니, 하나로 정하기보다 몇 가지로 시험해 보고 고르는 편이 좋습니다.
RAG·청킹·리트리벌·리랭킹까지, AI가 자료를 찾아 더 똑똑하게 답하는 네 단계를 짚어봤습니다. 이 흐름만 알아도 왜 어떤 AI 서비스는 최신 정보를 척척 답하는지 이해할 수 있어요. 다음 편에서는 AI 모델을 고를 때 만나는 이름들, LLM·sLM·멀티모달·파운데이션 모델을 같은 눈높이로 풀어보겠습니다. 오늘 나온 할루시네이션이 거기서도 다시 등장하니, 기대해 주세요.
참고 출처: Anthropic 용어집(Glossary)