방금 robots.txt를 작성하여 업로드를 했습니다.
루트와 bbs폴더를 제외하고 몽땅 막아두었습니다.
통하는 것도 있을것이고 안되는 것도 있을테지만 필요없이 신경쓰이게 하는 것은 일단 처리해야 하겠더군요.
data 폴더까지 막았는데 지나친 과민반응일까요?
참고로 robots.txt 작성시 상세 옵션입니다.
User-agent: *
Disallow: /
모든 검색엔진 막기
User-agent: *
Disallow: 모두 허용
Disallow: 모두 허용
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
cgi-bin,tmp,private 디렉토리 막기
User-agent: BadBot
Disallow: /
배드봇 검색로봇만 긁어가기 허용
User-agent: WebCrawler
Disallow:
웹크롤러 검색로봇만 긁어가기 허용
Disallow: /
배드봇 검색로봇만 긁어가기 허용
User-agent: WebCrawler
Disallow:
웹크롤러 검색로봇만 긁어가기 허용
|
댓글을 작성하시려면 로그인이 필요합니다.
댓글 4개
1주일 정도면 상황이 어느정도 정리되는 듯 하더군요.
늦어도 10일 안에는 알아서 떨어집니다.
그리고, 특정 대역폭의 아이피도 막아두셨다가 적당한 시일이 지난 후
다시 풀어 놓으셔도 될 것 같습니다.
참... 홈페이지 너무 멋지던데요.
휴... 괜히 놀러갔다가 주눅이...
이제야 답글을 씁니다.
나스카님 의견에 전적으로 동감합니다.
이게 뭔일인지 원.........
아직 작업중인 홈페이지라 떳떳하게 공개를 하기가 뭐하지만 그래도 프로필을 보고 접속하시는 분들이 좀 되더군요.
디자인도 딸리고 프로그램은 더 안되기에 여기저기 좋은것만 보고 참고를 많이 하는 편입니다.
이미지는 공개이미지를 모아서 쓰는 형편이고......
그러니 구성이 좀 엉성합니다.
좋은 평가를 주셔서 고맙습니다.
^^
휴일 잘 보내시죠?
'까만도둑'님께서 깔끔하게 정리해 등록하신 게시물이 있습니다.
'까만도둑'님의 게시물을 참조하시면,
훨씬 더 다양한 내용을 손쉽게 응용하실 수 있을듯 합니다.