robots.txt 좀 봐주세요.
본문
안녕하세요. 홈페이지에 robots.txt를 설정 했는데 맞게 했는지만 봐주세요.
특정 게시판만 모든 로봇의 방문을 막고 싶습니다.
아래와 같이 하면 될까요?
수고하세요. 그리고 감사합니다.
User-agent: *
Disallow: /
Disallow: g5/bbs/board.php?bo_table=특정게시판명
User-agent: NaverBot
Allow: /
User-agent: Yeti
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Daum
Allow: /
User-agent: Daumoa
Allow: /
답변 2
g5 가 풀더라면
/g5/ 가 맞을것 같습니다
그리고 확실히 차단하고 싶으시다면 별도로 막으셔야 합니다.
다시 정리하면..
public_html/g5
이렇게 폴더를 만들어서 그누보드를 설치 했습니다.
처음엔 특정 게시판만 로봇차단을 하려고 했는데.
결론적으로 그냥 g5폴더 전체에 대해 로봇차단을 하려고 합니다.
그외 다른 곳은 로봇이 잘 들어와야 하구요.
위와 같이 했을시 아래와 같이 하면 될까요? 아니면 좀더 간편하게나? 더 보강할 내용이 있을까요?
User-agent: *
Disallow: /
Disallow: /g5/
User-agent: NaverBot
Allow: /
User-agent: Yeti
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Daum
Allow: /
User-agent: Daumoa
Allow: /