기존 검색엔진 봇에 의한 크롤러는 내 사이트를 색인화하여 포탈 사이트 검색에 도움을 주고 마케팅에 도움을 주는 것으로 여겨왔습니다. 적어도 구글이나 네이버같은 대표 봇은 더 크롤링이 잘 되길 기원(?)하며 작업하기도 하는데요.

최근 AI크롤러 등장으로 이런 인식에 부정적인 영향이 크게 나타나기 시작했습니다.

 

AI 크롤러가 해로운 이유

• 웹사이트 소유자의 비용 급증
• 사용자의 중단 또는 성능 문제
• DDoS 중단 - 최악의 경우

최근 IT기업(OpenAI, Meta AI, BingAI, GoogleAI,...) 들은 AI에 올인하고 있고, 크롤러를 이용하여 각 사이트를 돌아다니며 컨텐츠를 무차별 긁어가고 있습니다.

 

이런 기업들은 그동안 많은 시간과 노력으로 구축한 컨텐츠를 무료로 크롤러로 무차별 긁어가서 유료로 판매하고 있습니다. (API 라이센스 비용)

 

최근 늘어나는 기하급수적으로 늘어나는 개별 사이트 트래픽은 대부분 이런 AI 크롤러인 것으로 보입니다.

특정 시간대에 사이트가 많이 늘어지거나 심지어 멈추기까지 합니다. 사이트가 다운되기도 합니다.

기존 DDoS행위가 악성 범죄행위라고 간주된다면 마이크로소프트나 구글의 이런 행위도 엄연한 범죄행위라고 볼 수 있을 것 같습니다.

 

여기서 문제는...

그럼 이런 AI 크롤러를 무조건 막아야 할까요?

이게 참...

앞으로의 사용자들은 AI기능이 탑재된 검색을 이용할 것인데 거기서 누락이 된다는 딜레마...

 

돈도 안되는데 갑자기 늘어난 트래픽으로 비용을 감내해야 할 지...

아니면 어떤 대책을 찾아야 할 지...

 

그래도 조금씩 대안이 나오긴 하는가 봅니다.

대표적인 것이 클라우드플래어 서비스입니다.

https://blog.cloudflare.com/ai-labyrinth/#how-to-use-ai-labyrinth-to-stop-ai-crawlers

 

웹학교 무료강좌 / 웹학교 컨텐츠몰

PHP포탈 / 구인구직 솔루션 / 엑셀업로드 및 엑셀다운로드 스킨

By 웹학교