robots.txt 좀 봐주세요.
본문
안녕하세요. 홈페이지에 robots.txt를 설정 했는데 맞게 했는지만 봐주세요.
특정 게시판만 모든 로봇의 방문을 막고 싶습니다.
아래와 같이 하면 될까요?
수고하세요. 그리고 감사합니다.
User-agent: *
Disallow: /
Disallow: g5/bbs/board.php?bo_table=특정게시판명
User-agent: NaverBot
Allow: /
User-agent: Yeti
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Daum
Allow: /
User-agent: Daumoa
Allow: /
답변 2
g5 가 풀더라면
/g5/ 가 맞을것 같습니다
그리고 확실히 차단하고 싶으시다면 별도로 막으셔야 합니다.
확실히 차단하는 방법좀 알려 주실수 있으세요?
부탁드립니다
그리고 폴더 맞습니다
다시 정리하면..
public_html/g5
이렇게 폴더를 만들어서 그누보드를 설치 했습니다.
처음엔 특정 게시판만 로봇차단을 하려고 했는데.
결론적으로 그냥 g5폴더 전체에 대해 로봇차단을 하려고 합니다.
그외 다른 곳은 로봇이 잘 들어와야 하구요.
위와 같이 했을시 아래와 같이 하면 될까요? 아니면 좀더 간편하게나? 더 보강할 내용이 있을까요?
User-agent: *
Disallow: /
Disallow: /g5/
User-agent: NaverBot
Allow: /
User-agent: Yeti
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Daum
Allow: /
User-agent: Daumoa
Allow: /
User-agent: *
Disallow: /g5/
이렇게 하시고요
전체 차단 방법은.
<?php
$_SERVER['HTTP_USER_AGENT'] = '로봇 user agent';
echo 'Robots are not allowed.';
?>
또는
javascript 로 페이지를 로드한다거나..
등등 방법이 있겠죠?
클라우드플레어를 이용하시면
page rules 를 추가하셔서
example.com/g5/*
security level i'm under attack 으로 설정하셔도 되고요
