네이버 수집용으로 rss를 열어 놓았는데
다른 사이트에서 봇으로 계속 긁어 가네요...
|
답변 1개
7년 전
User-agent: Cowbot
Disallow:
User-agent: *
Disallow: /
참고: http://bklove.info/robotstxt-%EB%A7%8C%EB%93%A4%EA%B8%B0/
답변을 작성하려면 로그인이 필요합니다.