AI에게 일을 맡기는 시대입니다. 메일도 쓰고, 자료도 찾고, 코드까지 짭니다. 그런데 이 똑똑한 조수가 어느 날 갑자기 엉뚱한 답을 내놓으면 어떻게 될까요?
말은 늘 그럴듯합니다. 문제는 그 그럴듯함 속에 가끔 큰 실수가 숨어 있다는 거예요. 그래서 요즘 AI를 제대로 쓰는 사람들은 "얼마나 똑똑한가"만큼 "얼마나 안전하게 굴리는가"를 신경 씁니다. 자동차가 빨라도 브레이크가 없으면 못 타는 것과 같죠.
오늘은 AI 에이전트(스스로 일하는 AI)를 안전하게 운영할 때 꼭 등장하는 용어 네 가지를 풀어봅니다. 막고, 확인하고, 채점하고, 연결한다. 딱 이 네 가지입니다.
1. 가드레일 (Guardrails)
AI가 위험하거나 엉뚱한 답을 내놓지 못하게 막는 자동 안전장치예요. 도로의 난간처럼요.
가드레일은 AI의 입력과 출력을 실시간으로 검사합니다. 욕설, 개인정보, 회사 정책에 어긋나는 말이 나오려고 하면 그 자리에서 걸러내죠. 딱딱한 규칙(필터)으로 짜기도 하고, 감시 역할만 맡은 작은 AI를 따로 붙이기도 합니다. 사람이 24시간 옆에서 지켜볼 수는 없으니까요.
이럴 때 써요: 고객 상담 챗봇이 회사가 허락하지 않은 환불 약속을 하지 못하도록 가드레일을 걸어 둡니다.
2. 휴먼 인 더 루프 (Human in the Loop)
중요한 결정 앞에서 사람이 한 번 확인하고 넘어가게 하는 방식이에요. 서류의 최종 결재처럼요.
줄여서 HITL이라고 부릅니다. AI가 혼자 끝까지 처리하지 않고, 중간에 사람의 승인이나 수정, 피드백을 꼭 거치게 하는 구조예요. 왜 필요할까요? AI는 가끔 아주 자신 있게 틀리기 때문입니다. 특히 송금, 의료, 계약처럼 한 번 실수하면 되돌리기 어려운 일에서 이 사람 한 명이 최후의 안전핀이 됩니다.
이럴 때 써요: AI가 작성한 계약서 초안을 담당자가 검토하고 승인한 뒤에야 상대방에게 발송되도록 휴먼 인 더 루프를 둡니다.
3. 평가 (Evaluation)
AI가 내놓은 답이 얼마나 좋은지 정해진 기준으로 채점하는 시험이에요. 모의고사처럼요.
흔히 '이밸(eval)'이라 줄여 말합니다. 같은 질문을 두 번 물어도 답이 조금씩 달라지는 게 AI라, 눈대중으로는 잘하는지 못하는지 알 수가 없어요. 그래서 정답지와 평가표를 미리 만들어 두고 점수를 매깁니다. 사람이 채점하기도 하고, 다른 AI가 채점을 맡기도 하죠. AI를 AI가 감독하는 셈입니다.
이럴 때 써요: 새 모델로 갈아타기 전에, 준비해 둔 평가(eval) 100문항을 돌려 점수가 예전보다 떨어지지 않았는지 확인합니다.
4. MCP (Model Context Protocol)
AI와 외부 도구·데이터를 잇는 공통 연결 표준이에요. 여러 기기를 하나로 꽂는 USB-C처럼요.
앤트로픽(Anthropic)이 2024년 11월에 공개한 개방형 표준입니다. 예전에는 AI를 도구마다 제각각 방식으로 연결해야 했어요. MCP는 그 지저분한 과정을 하나의 규격으로 통일합니다. AI 앱(클라이언트)이 MCP 서버에 꽂기만 하면 파일, 데이터베이스, 검색 같은 기능을 곧바로 가져다 쓸 수 있죠. 지금은 리눅스 재단(Linux Foundation)이 관리하는 오픈소스로 운영됩니다.
이럴 때 써요: 사내 문서 검색 기능을 MCP 서버로 한 번 만들어 두면, 여러 AI 도구가 모두 같은 방식으로 그 문서를 불러다 씁니다.
자주 묻는 질문
가드레일과 휴먼 인 더 루프는 뭐가 다른가요?
둘 다 위험을 막지만 막는 주체가 다릅니다. 가드레일은 규칙이나 작은 AI가 사람 없이 자동으로 걸러냅니다. 휴먼 인 더 루프는 사람이 직접 눈으로 확인하죠. 그래서 자잘하고 빈번한 위험은 가드레일로 거르고, 정말 중요한 순간에만 사람을 부르는 식으로 둘을 함께 씁니다.
평가(eval)는 그냥 소프트웨어 테스트랑 같은 건가요?
비슷하지만 결이 다릅니다. 보통의 소프트웨어 테스트는 정답이 딱 하나라 '맞다·틀리다'가 분명해요. 하지만 AI는 같은 질문에도 답이 매번 조금씩 달라집니다. 그래서 평가는 정답을 대조하는 것에 더해 '얼마나 자연스러운지', '정책을 지켰는지' 같은 점수까지 함께 매깁니다.
MCP는 꼭 써야 하나요?
필수는 아닙니다. 연결할 도구가 한두 개뿐이라면 직접 이어 붙여도 충분해요. 다만 도구가 늘어날수록 연결 방식을 하나로 통일하는 편이 훨씬 편합니다. 충전 규격이 제각각이면 충전기를 잔뜩 들고 다녀야 하는 것과 같은 이치죠.
오늘은 AI를 안전하게 굴리는 네 가지 말, 가드레일·휴먼 인 더 루프·평가·MCP를 살펴봤습니다. 막고, 확인하고, 채점하고, 연결한다. 이 네 가지가 갖춰지면 AI에게 일을 맡기는 일이 한결 든든해집니다. 다음 편에서는 방향을 반대로 돌려, 이 방어를 뚫으려는 공격 쪽을 다룹니다. AI를 속이는 프롬프트 인젝션과 탈옥(jailbreak), 그리고 그런 허점을 미리 찾아내는 레드팀 이야기로 이어가겠습니다.