방금 robots.txt를 작성하여 업로드를 했습니다. > 자유게시판

자유게시판

방금 robots.txt를 작성하여 업로드를 했습니다. 정보

기타 방금 robots.txt를 작성하여 업로드를 했습니다.

본문

루트와 bbs폴더를 제외하고 몽땅 막아두었습니다.
통하는 것도 있을것이고 안되는 것도 있을테지만 필요없이 신경쓰이게 하는 것은 일단 처리해야 하겠더군요.
data 폴더까지 막았는데 지나친 과민반응일까요?
 
참고로 robots.txt 작성시 상세 옵션입니다.

User-agent: *
Disallow: /
모든 검색엔진 막기
 
User-agent: *
Disallow: 모두 허용
 
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
cgi-bin,tmp,private 디렉토리 막기
 
User-agent: BadBot
Disallow: /
배드봇 검색로봇만 긁어가기 허용
 
User-agent: WebCrawler
Disallow:
웹크롤러 검색로봇만 긁어가기 허용
추천
0
  • 복사

댓글 4개

몽땅 두드려 막고, 나중에 하나씩 풀어 놓으시는 것이 나을듯 합니다.
1주일 정도면 상황이 어느정도 정리되는 듯 하더군요.
늦어도 10일 안에는 알아서 떨어집니다.
그리고, 특정 대역폭의 아이피도 막아두셨다가 적당한 시일이 지난 후
다시 풀어 놓으셔도 될 것 같습니다.

참... 홈페이지 너무 멋지던데요.
휴... 괜히 놀러갔다가 주눅이...
^^
이제야 답글을 씁니다.

나스카님 의견에 전적으로 동감합니다.
이게 뭔일인지 원.........

아직 작업중인 홈페이지라 떳떳하게 공개를 하기가 뭐하지만 그래도 프로필을 보고 접속하시는 분들이 좀 되더군요.
디자인도 딸리고 프로그램은 더 안되기에 여기저기 좋은것만 보고 참고를 많이 하는 편입니다.
이미지는 공개이미지를 모아서 쓰는 형편이고......
그러니 구성이 좀 엉성합니다.
좋은 평가를 주셔서 고맙습니다.
^^

휴일 잘 보내시죠?
관련내용은 이전에 다른분들의 내용을 종합적으로
'까만도둑'님께서 깔끔하게 정리해 등록하신 게시물이 있습니다.
'까만도둑'님의 게시물을 참조하시면,
훨씬 더 다양한 내용을 손쉽게 응용하실 수 있을듯 합니다.
© SIRSOFT
현재 페이지 제일 처음으로