AI 크롤러가 내 블로그에 온 30일 기록 — GPTBot·ClaudeBot 실측

30일 동안 구글 검색 크롤러는 우리 블로그에 6번 왔습니다. 같은 기간 AI 크롤러는 496번 왔습니다.

블로그를 운영하면 방문자 수는 봅니다. 그런데 그 방문자 중 누가 사람이고 누가 기계인지는 잘 안 보죠. 저도 그랬습니다.

그래서 직접 열어봤습니다. 아임용(aimyoung.com)의 서버 접속 기록 5,785건을 크롤러 이름표별로 갈라본 결과입니다.

이 글은 남의 통계가 아니라 우리 블로그 한 곳의 실측 로그입니다. 표본이 작다는 한계는 뒤에 그대로 밝혔습니다. 대신 어디에도 없는 날것의 숫자입니다.

1. 30일 동안 누가 다녀갔나요?

AI 크롤러 496번, 전통 검색 크롤러 58번. 8배 넘게 차이 납니다.

기간은 2026년 6월 28일부터 7월 27일까지 30일입니다. 전체 요청 5,785건 중 봇으로 분류된 것이 1,537건(26.6%)이었습니다.

메타의 크롤러가 압도적입니다. 7월 24일 하루에만 186번 몰려왔더군요. 참고로 이건 페이스북 공유 미리보기를 가져가는 크롤러가 아닙니다. 그건 따로 있고(facebookexternalhit) 9번뿐이었습니다.

한 줄 정리: 신생 블로그에는 검색 엔진보다 AI가 훨씬 자주 찾아옵니다.

2. AI 크롤러는 세 종류입니다

이름표만 봐도 무엇을 하러 왔는지 알 수 있습니다.

규칙은 단순합니다. 이름에 Bot만 붙으면 대개 학습용, SearchBot이면 색인용, User가 붙으면 사람의 질문 때문에 그 순간 방문한 것입니다.

도서관에 비유하면 이렇습니다. 학습용은 책을 통째로 복사해 가는 사람이고, 실시간 방문은 손님이 질문해서 그 책을 펼쳐 보러 온 사서입니다. 복사와 인용은 전혀 다른 행위죠.

한 줄 정리: 이름 끝에 User가 붙었다면, 그 순간 누군가 내 글을 근거로 답을 받았다는 뜻입니다.

3. 긁어간 건 472번, 인용하러 온 건 10번

학습용 방문이 실시간 방문의 47배입니다.

이 격차가 이번 조사에서 가장 뼈아픈 숫자였습니다. AI는 우리 글을 부지런히 가져갑니다. 그런데 그 글을 근거로 누군가에게 답을 해준 흔적은 30일에 10번뿐입니다.

바꿔 말하면 수집당하는 것과 인용되는 것은 전혀 다른 일입니다. 학습 데이터가 되는 건 자동이지만, 답변에 인용되려면 그 주제로 질문이 들어와야 하고 내 글이 그 답에 적합해야 합니다.

참고로 실시간 방문 10건이 열어본 글은 클로드 오퍼스 5 출시, 네이버·카카오 플랫폼 전략, 키미 K3 공개 같은 뉴스였습니다. 전부 구체적인 사실과 수치가 들어간 글이었습니다. (우연이 아닐 겁니다.)

한 줄 정리: 학습 데이터가 되는 건 자동, 답변에 인용되는 건 별개의 경쟁입니다.

4. AI는 내 글보다 사이트 구조를 먼저 봅니다

AI 크롤러 요청 496건 중 글 본문을 읽은 건 145건(29%)뿐이었습니다.

나머지 71%는 목록 페이지와 정책 페이지였습니다. 가장 많이 읽힌 경로가 /ko/cookies(40회)였다는 게 좀 허탈하더군요.

사이트맵을 따라 전체를 훑는 패턴입니다. 즉 아직은 "이 사이트가 뭔지 파악하는 단계"에 가깝습니다. 개별 글의 내용을 깊이 읽는 단계까지는 오지 않았다는 뜻이죠.

한 줄 정리: 사이트맵·카테고리 구조가 엉성하면 AI가 본문에 닿기 전에 헤맵니다.

5. 막을 것인가, 열어둘 것인가

아임용은 전면 허용해 뒀고, 앞으로도 그럴 생각입니다.

현재 robots.txt는 관리자 영역과 API만 막고 나머지는 모두 열어둔 상태입니다. GPTBot, ClaudeBot, PerplexityBot을 이름으로 명시해 허용하고 있고요.

막고 싶다면 방법은 있습니다. robots.txt에 User-agent: GPTBot 아래 Disallow: /를 넣으면 됩니다. 구글은 Google-Extended라는 별도 이름표를 두어, 검색 노출은 유지하면서 AI 학습만 거부할 수 있게 해두었습니다.

다만 지금 흐름에서 막는 건 손해로 보입니다. 네이버가 AI 인용 수로 창작자에게 보상을 주기 시작했듯, 인용이 곧 노출이 되는 방향으로 가고 있으니까요. 문을 닫으면 인용 후보에서 아예 빠집니다.

한 줄 정리: 학습은 막을 수 있지만, 막으면 인용 기회도 함께 사라집니다.

6. 내 블로그는 어떤지 확인하는 법

서버 로그의 User-Agent 항목만 볼 줄 알면 됩니다.

1. 클라우드플레어를 쓴다면 대시보드의 Security 또는 Bots 메뉴에서 봇 트래픽 분류를 바로 볼 수 있습니다.
2. 워드프레스라면 접속 로그 플러그인이나 호스팅사의 raw 로그에서 User-Agent를 확인하세요.
3. 네이버·티스토리처럼 로그를 못 보는 곳이라면 아쉽지만 확인할 방법이 없습니다. 대신 각 AI에 내 블로그 주제를 질문해 인용되는지 직접 확인해 보세요.
4. 검색할 이름표는 GPTBot, ClaudeBot, meta-externalagent, PerplexityBot, OAI-SearchBot, ChatGPT-User, Claude-User입니다.

한 줄 정리: User-Agent에 이 일곱 개 이름만 찾아봐도 내 글이 AI에 닿고 있는지 알 수 있습니다.

---

자주 묻는 질문

AI 크롤러가 많이 오면 좋은 건가요?

학습용 크롤러가 많이 오는 것 자체는 노출이나 수익과 직접 연결되지 않습니다. 의미 있는 신호는 이름에 User가 붙은 실시간 방문입니다. 그건 실제로 누군가의 질문에 내 글이 근거로 쓰였다는 뜻이기 때문입니다.

User-Agent는 위조할 수 있지 않나요?

맞습니다. User-Agent는 요청하는 쪽이 자유롭게 적을 수 있어서 100% 신뢰할 수는 없습니다. 정확히 검증하려면 요청 IP가 각 사업자가 공개한 대역에 속하는지 대조해야 합니다. 이 글의 숫자는 이름표 기준 집계라는 점을 감안해 주세요.

트래픽 요금이 걱정되는데 막아야 할까요?

30일에 496번이면 하루 17번 수준이라 비용에 영향을 줄 규모가 아닙니다. 다만 대형 사이트에서 크롤러가 초당 수십 번씩 몰리는 사례는 보고되고 있으니, 규모가 커지면 robots.txt의 crawl-delay나 방화벽 규칙을 검토하시면 됩니다.

마치며

정리하면 이렇습니다. 30일간 AI 크롤러 496번, 전통 검색 크롤러 58번. 그중 실제로 답변에 쓰려고 온 방문은 10번이었습니다.

솔직히 기대보다 초라한 숫자입니다. 하지만 이 10번이 앞으로 늘어나는지가 AI 시대 콘텐츠의 성적표가 될 겁니다. 조회수 대신 볼 지표가 하나 생긴 셈이죠.

다음 달에도 같은 로그를 열어 비교해 볼 생각입니다. 혹시 서버 로그를 보실 수 있다면, 오늘 한 번 User-Agent를 훑어보시는 건 어떨까요?

이 글의 한계

표본은 아임용 한 사이트, 30일(2026-06-28~07-27), 요청 5,785건입니다. 주간 순 방문자 200명대의 신생 블로그라 업계 일반론으로 읽으시면 안 됩니다. 규모가 큰 사이트는 비율이 다를 수 있습니다.

집계는 User-Agent 문자열 기준이며 IP 대역 검증은 하지 않았습니다. 수치는 2026년 7월 27일 기준입니다.

참고 자료

• 오픈AI — 크롤러 종류와 robots.txt 설정 안내
• 앤트로픽 — 크롤러 동작과 차단 방법 안내
• 구글 — 크롤러 및 사용자 트리거 페처 목록
• 메타 — 웹 크롤러 안내