검색봇의 홍수시대에 robots.txt가 정말 중요한 것 같은데요.

정말 필요한 고객은 들어오지 않고, 불청객인 온갖 로봇들만 밀물처럼 폭주하면 호스팅 비용만 천장을 뚫고 거기다 온갖 해충(?)들까지 몰려들죠.

그런데....

이게 온갖 설명은 많은데 정확히 이해하기는 쉽지가 않는 것 같습니다.

한가지 해법은 잘 알려진 사이트들을 돌아다니며 robots.txt 파일을 구경하는 겁니다.

네이버나 다음은 비슷한 듯하면서도 확실히 다릅니다.

검색엔진의 시장 비율이 영향을 주는 것이겠죠?

네이버:

User-agent: *
Disallow: /
Allow : /$
Allow : /.well-known/privacy-sandbox-attestations.json

여기는 privacy-sandbox-attestations.json 파일이 또 포인트인 것 같습니다.

다음:

User-agent: GoogleOther
Disallow: /
Allow :  /.well-known/privacy-sandbox-attestations.json 

User-agent: *
Disallow: /
Allow : /$ 
Allow : /ads.txt

여기는 privacy-sandbox-attestations.json과 ads.txt가 있네요.

제 사이트는

구글, 네이버, 마소의 빙, 야후, 트위터, 페이스북을 제외한 모든 봇을 금지했습니다.

그런데 네이버 봇 이름이 Yeti, 독특합니다.

웹학교 무료강좌 / 웹학교 컨텐츠몰 / PHP포탈

By 웹학교