요즘 제 사이트에 Googlebot, Applebot, Amazonbot, ChatGPT User 같은 애들이 이것저것 긁고 다니길래

대체 얘네가 들어와서 뭘 하고 가는지 궁금해서 직접 관제툴을 만들어봤습니다.

처음에는 그냥

누가 들어왔는지 / IP / URL / 상태코드

정도만 보려고 했는데 만들다 보니 점점 일이 커져서…

지금은 봇별로

언제 들어왔는지 → 몇 분 동안 돌아다녔는지 → 어떤 카테고리를 봤는지 → 상품을 봤는지 → 이미지를 몇 장 가져갔는지 → 다음에 어디로 이동했는지

까지 대략적인 행동 흐름을 볼 수 있게 됐습니다.

물론 봇은 사람이 마우스로 링크를 클릭하는 방식이 아니라서
진짜 ‘클릭 기록’은 아니고 HTTP 요청 순서를 이용한 이동 추정입니다.

근데 보고 있으면 은근 웃깁니다.

Applebot은 사이트 이것저것 찔러보다가 PWA 상태 API까지 들어가 보고,
Amazonbot은 카테고리랑 이미지를 미친 듯이 긁고 다니고,

어떤 친구는 robots.txt만 보고 사라지고…

봇마다 성격이 다 보입니다 ㅋㅋ

이제 사이트 운영하는 것보다
봇들 출퇴근 구경하는 게 더 재밌어지고 있습니다.