11/12(목) 서버 점검 안내 (00:00~06:00)
이전 목록 다음
미채택 완료

rss 검색봇만 접근 가능하게 할수있나요?

razogol
프로필 보기작성한 질문작성한 답변전체 작성글 보기전체 댓글 보기
 2019-02-22 (금) 02:17:28 2,094

네이버 수집용으로 rss를 열어 놓았는데

다른 사이트에서 봇으로 계속 긁어 가네요...

그누보드5
|

답변 1개

천천사별
프로필 보기작성한 질문작성한 답변전체 작성글 보기전체 댓글 보기
 2019-02-22 (금) 11:10:23

User-agent: Cowbot
Disallow:

User-agent: *
Disallow: /

참고: http://bklove.info/robotstxt-%EB%A7%8C%EB%93%A4%EA%B8%B0/

답변을 작성하려면 로그인이 필요합니다.