검색로봇 차단 하는방법 어디에 붙여 넣어야 하나요? 초보라서 ㅜㅜ
robots.txt
-----------------------------------------------------------------------------------------------------------
User-agent: *
Disallow: /
--------------------------------------------------------------------------------------------
위의 두줄데로 설정하면 모든 검색엔진에 대해서 모든것을 막는다는 의미이다...
txt파일 만들고 밑에 이부분을 넣어야하는데 어디에 넣어야 하나요?
//모든 검색 엔진 막기
User-agent: *
Disallow: /
//네이버 로봇 막기
User-agent: cowbot
Disallow: /
//구글 로봇 막기
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Image
Disallow: /
야후 로봇 막기
User-agent: Slurp
Disallow: /
User-agent: Yahoo-MMCrawler
Disallow: /
엠파스봇 로봇 막기
User-agent: empas
Disallow: /
MSN
User-agent: MSNBot
Disallow: /
첫눈
User-agent: 1Noonbot 1.0
Disallow: /
-----------------------------------------------------------------------------------------------------------
User-agent: *
Disallow: /
--------------------------------------------------------------------------------------------
위의 두줄데로 설정하면 모든 검색엔진에 대해서 모든것을 막는다는 의미이다...
txt파일 만들고 밑에 이부분을 넣어야하는데 어디에 넣어야 하나요?
//모든 검색 엔진 막기
User-agent: *
Disallow: /
//네이버 로봇 막기
User-agent: cowbot
Disallow: /
//구글 로봇 막기
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Image
Disallow: /
야후 로봇 막기
User-agent: Slurp
Disallow: /
User-agent: Yahoo-MMCrawler
Disallow: /
엠파스봇 로봇 막기
User-agent: empas
Disallow: /
MSN
User-agent: MSNBot
Disallow: /
첫눈
User-agent: 1Noonbot 1.0
Disallow: /
|
댓글을 작성하시려면 로그인이 필요합니다.
댓글 3개
인덱스 파일 있는곳으로요.
http://abcd.com/robots.txt
//모든 검색 엔진 막기
User-agent: *
Disallow: /
//네이버 로봇 막기
User-agent: cowbot
Disallow: /
//구글 로봇 막기
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Image
Disallow: /
야후 로봇 막기
User-agent: Slurp
Disallow: /
User-agent: Yahoo-MMCrawler
Disallow: /
엠파스봇 로봇 막기
User-agent: empas
Disallow: /
MSN
User-agent: MSNBot
Disallow: /
첫눈
User-agent: 1Noonbot 1.0
Disallow: /
User-agent: *
Disallow: /