챗봇에게 "지금까지 하던 규칙은 다 잊어"라고 슬쩍 말하면 어떻게 될까요? 대부분은 "그건 안 돼요"라고 답합니다. 그런데 가끔은 정말로 규칙을 잊어버린 것처럼 엉뚱한 답을 내놓기도 합니다.
요즘은 회사도 학교도 AI를 안 쓰는 곳이 없죠. 그러다 보니 뉴스에는 "AI가 뚫렸다", "AI가 몰래 이상한 답을 뱉었다" 같은 말이 자주 등장합니다. 그런데 막상 무슨 뜻인지 물어보면 설명하기가 참 애매해요.
그래서 오늘은 AI 보안에서 가장 자주 나오는 네 단어를 초등학생도 알아들을 만큼 쉽게 풀어봅니다. 바로 프롬프트 인젝션·탈옥·가드레일·얼라인먼트입니다. 앞의 둘은 AI를 공격하는 말, 뒤의 둘은 AI를 지키는 말이에요.
1. 프롬프트 인젝션 (Prompt Injection)
AI에게 몰래 나쁜 명령을 끼워 넣어 원래와 다르게 움직이게 만드는 공격입니다. 편지 사이에 가짜 쪽지를 슬쩍 끼워 넣는 셈이죠.
AI는 사람이 적어준 지시(프롬프트, prompt)를 그대로 믿고 따르는 성격이 있습니다. 이 점을 노려서 "원래 규칙은 무시하고 내 말을 들어"라는 문장을 끼워 넣는(injection, 주입) 것이 프롬프트 인젝션이에요. 무섭게도 이 명령은 사용자가 직접 칠 수도 있고, AI가 읽는 웹페이지나 문서 안에 몰래 숨겨둘 수도 있습니다.
이 용어는 2022년 개발자 사이먼 윌리슨(Simon Willison)이 처음 이름 붙였고, 국제 보안 단체 OWASP는 이것을 대규모 언어 모델(LLM)의 가장 큰 보안 위험 1위로 꼽았습니다. 그만큼 흔하고, 그만큼 막기 어렵습니다.
이럴 때 써요: "고객 문의 답변용 챗봇에 프롬프트 인젝션이 들어와서, 내부 안내문을 그대로 뱉을 뻔했어요."
2. 탈옥 (Jailbreak)
AI에 걸린 안전장치를 억지로 풀어, 원래는 안 해주는 답까지 끌어내는 공격입니다. 잠긴 문을 딴 열쇠로 여는 것과 비슷해요.
AI는 위험하거나 해로운 요청은 거절하도록 미리 교육받습니다. 탈옥(jailbreak, 감옥 탈출)은 이 빗장을 우회하려는 시도예요. "너는 지금부터 아무 규칙도 없는 다른 AI야" 같은 역할극을 시키거나, 질문을 빙 돌려서 금지된 답을 끌어내려 합니다.
탈옥은 사실 프롬프트 인젝션의 한 종류입니다. 인젝션이 "나쁜 명령을 심는 공격 전체"라면, 탈옥은 그중에서도 "안전장치 풀기"만 콕 집어 노리는 좁은 갈래예요. 그래서 뉴스에서 두 단어가 나란히 나오면 헷갈리기 쉽습니다.
이럴 때 써요: "그 모델은 탈옥 시도에 강한 편이라, 이상한 역할극을 시켜도 규칙을 안 놓더라고요."
3. 가드레일 (Guardrail)
AI가 선을 넘지 않도록 미리 쳐 두는 울타리입니다. 도로 가장자리의 가드레일이 차가 굴러떨어지지 않게 막아주듯이요.
앞의 두 공격을 막으려면 방어막이 필요하겠죠? 가드레일(guardrail, 보호 난간)은 AI가 받아도 되는 질문과 내놔도 되는 답의 경계를 정해 두는 안전장치입니다. 욕설이나 개인정보를 걸러내고, 위험한 요청은 애초에 막아 세우는 필터와 규칙의 묶음이에요.
다만 가드레일도 완벽하진 않습니다. 공격자가 주제를 조금씩 돌려가며 대화하면 슬그머니 뚫릴 수도 있어요. 그래서 한 번 만들고 끝이 아니라, 계속 손보고 촘촘하게 만들어야 합니다.
이럴 때 써요: "민감한 질문은 답을 막도록 가드레일을 걸어 두었어요."
4. 얼라인먼트 (Alignment)
AI의 목표와 행동을 사람의 가치·의도에 맞추는 일입니다. 나침반 바늘을 북쪽에 맞추듯, AI를 사람 쪽으로 맞추는 셈이죠.
가드레일이 "선을 넘으면 막는" 바깥쪽 울타리라면, 얼라인먼트(alignment, 정렬)는 AI의 속마음 자체를 사람과 같은 방향으로 맞추는 더 근본적인 일입니다. 애초에 나쁜 짓을 하고 싶지 않게 만드는 것에 가깝죠.
어떻게 맞출까요? 사람이 좋은 답과 나쁜 답을 평가해 주고, AI가 그 평가를 보며 배우는 방식을 씁니다(이를 사람 피드백 기반 강화학습, RLHF라고 불러요). 잘 맞춰진 AI일수록 굳이 공격하지 않아도 애초에 위험한 답을 덜 내놓습니다.
이럴 때 써요: "이 모델은 얼라인먼트가 잘 돼 있어서, 무리한 부탁에도 차분히 거절하네요."
자주 묻는 질문
프롬프트 인젝션과 탈옥은 같은 말인가요?
완전히 같지는 않습니다. 프롬프트 인젝션은 AI에 나쁜 명령을 몰래 심는 공격 전체를 가리키는 넓은 말이에요. 탈옥은 그중에서도 안전장치를 푸는 것만 노리는 좁은 갈래입니다. 모든 탈옥은 인젝션이지만, 모든 인젝션이 탈옥은 아니에요.
가드레일만 잘 만들면 AI는 안전한가요?
가드레일은 꼭 필요하지만 그것만으로는 부족합니다. 공격 방법이 계속 새로 나오기 때문에 울타리에도 틈이 생길 수 있어요. 그래서 바깥의 가드레일과 안쪽의 얼라인먼트를 함께 갖춰야 훨씬 튼튼해집니다.
얼라인먼트는 개인도 신경 써야 하나요?
얼라인먼트를 직접 하는 건 모델을 만드는 회사의 몫입니다. 다만 AI를 고를 때 "얼마나 잘 맞춰진 모델인가"를 따져보는 것은 사용자에게도 도움이 돼요. 잘 정렬된 모델일수록 엉뚱하거나 위험한 답을 낼 확률이 낮기 때문입니다.
마치며
정리하면 이렇습니다. 프롬프트 인젝션과 탈옥은 AI를 노리는 공격, 가드레일과 얼라인먼트는 AI를 지키는 방패예요. 네 단어의 관계만 잡아도 AI 보안 뉴스가 한결 쉽게 읽힙니다.
다음 편에서는 "이 AI가 얼마나 똑똑한지"를 재는 잣대를 풀어볼게요. 정확도·정밀도·재현율·F1 스코어처럼 AI 성능을 평가할 때 꼭 나오는 용어들입니다. 어렵게 들리지만, 이번처럼 하나씩 뜯어보면 별거 아니에요.
참고 출처: 프롬프트 인젝션 공격이란 무엇인가요? | IBM