rss 검색봇만 접근 가능하게 할수있나요?
본문
네이버 수집용으로 rss를 열어 놓았는데
다른 사이트에서 봇으로 계속 긁어 가네요...
답변 1
User-agent: Cowbot
Disallow:
User-agent: *
Disallow: /
참고: http://bklove.info/robotstxt-%EB%A7%8C%EB%93%A4%EA%B8%B0/
답변을 작성하시기 전에 로그인 해주세요.
네이버 수집용으로 rss를 열어 놓았는데
다른 사이트에서 봇으로 계속 긁어 가네요...
User-agent: Cowbot
Disallow:
User-agent: *
Disallow: /
참고: http://bklove.info/robotstxt-%EB%A7%8C%EB%93%A4%EA%B8%B0/