오랜만이죠? 한동안 바빴습니다. 

  1  

인공지능 AI봇이 인기를 얻으면서 검색엔진을 통한 유입이 줄어듭니다. 

챗봇에서 내용을 읽어버리니까 사이트를 방문하지 않는 거죠.

그런데 자신만의 고유의 내용이 있을 경우엔 무단으로 퍼가기 금지도 필요할 것 같습니다.

  2  

그래서 인공지능 AI봇이 마구 퍼가는 것을 금지하는 robots.txt를 적어 봅니다. 

(단, - 검색엔진에서 과거에 이미 퍼 간 것으로 AI를 돌리면 소용 없음.)

(단, - 검색엔진 봇과 AI 크롤러 봇을 함께 쓰는 경우엔 검색엔진 유입이 줄어들 수도 있음. 네이버, 카카오, 구글, 빙 주의 + 아래 봇 이름과 비교해서 참고)

(참고로 네이버 검색엔진 Yeti, 다음넷 검색엔진 Daumoa, 구글 검색엔진 Googlebot, 빙 검색엔진 Bingbot입니다.)

  3  

많이 알려진 인공지능 AI 크롤러를 싸그리 모았습니다. 마지막의 Disallow: / 빼먹지 마세요. (이게 핵심)

User-agent: CLOVA
User-agent: KakaoBot
User-agent: Gemini
User-agent: Google-Extended
User-agent: Copilot
User-agent: Claude
User-agent: Perplexity
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: Applebot-Extended
User-agent: Bing AI
User-agent: DeepL
User-agent: Character.AI
User-agent: Quora
User-agent: DialoGPT
User-agent: Otter
User-agent: Socratic
User-agent: Writesonic
User-agent: CopyAI
User-agent: Jasper
User-agent: ELSA
User-agent: Codium
User-agent: TabNine
User-agent: Vaiv
User-agent: Bagoodex
User-agent: YouChat
User-agent: iAsk
User-agent: Komo
User-agent: Hix
User-agent: ThinkAny
User-agent: Brave
User-agent: Lilys
User-agent: Sidetrade Indexer Bot
User-agent: CCBot
User-agent: AI-Bot-Name
Disallow: /