구글봇 대응 어찌 해야 할까요 ? 서버 트래픽이 엄청나서...
본문
구글 봇이 제 서버에 너무 많은 트래픽 과다하여...
차단은 하면 노출이 안돼니 일단 늦게 와라 하고 속도를 늦췄는데..
문제는 이놈이 3개월에 한 번 씩 계속 해야 하는 번거러움 때문에..
방법이 없을까요..
글을 너무 많이 파싱해서 그런가 엄청나게 CPU 부하가 심각하네요..
그래도 아예 안퍼가는건 아닌거 같은데..
우선 늦게 퍼가세요..하고 정중하게 구글봇한테 말했으니..
이제 3개월간 잠잠하겠네요..
근데 매번 해야 하니 귀찮...ㅠㅠ
답변 6
여기가 QA공간은 아니지만, 얘기나온김에 간단하게 코드를 만들어봤습니다.
if (preg_match('/apple|baidu|bingbot|facebookexternalhit|googlebot|-google|ia_archiver|msnbot|naverbot|pingdom|seznambot|slurp|teoma|twitter|yandex|yeti/i', $_SERVER['HTTP_USER_AGENT'])) {
//봇이라면,,,
if($bo_table && $page > 100) { //게시판이고, 100페이지 이후를 색인 요청하는 경우, 요청을 무시
exit;
}
}
죄송하지만 이거 어느 파일 어느 위치에 넣어야 되는 코드인가요?
https://support.google.com/webmasters/answer/6062596?hl=ko
이 공식 문서 참고 하시여 모든 페이지 크롤링을 막아 보심이 좋을 듯 합니다.
헌데 봇 자체가 트래픽을 과다하게 내진 않을텐데요...
구글 검색을 타고 들어오는 다른 불미스러운 트래픽이 있는지 확인 해 보셔야 할 듯 합니다.
크롤러 딜레이는 없네요....왜 구글은 없을까..
제 경험상 구글봇이 사이트에 부하를 주는 경우는
게시판에 글이 많은 경우, 뒷페이지를 색인할때 입니다.
봇인 경우, 최근 등록된 글만 열심히 색인 하도록 하면 됩니다.
User-Agent 가 Googlebot 인 경우, page=100 이상인 경우, exit 하시면 될것 같네요.
대략적인 코드(common.php 상단이 좋을듯)
if(user-agent가 구글봇이면) {
if(page > 100 이면) {
exit;
}
}
글이 좀 무지하게 많긴 한데..그럼 냅두면 글 다 크롤링하고 잠잠해 질까요..지금 크롤링 늦게 하라고 했더니 2일 오늘 잠잠해 졌네요...아놔..방법을 모르니..ㅠㅠ
크롤링 주기가 있으니, 다시 크롤링 할거에요. 뒷페이지 색인 막는게 좋습니다.
어렵네요..
if(user-agent==googlebot) {
if(page > 100 이면) {
exit;
}
}
이러면 될려나..
robot.txt 에서 특정 폴더 크롤링을 막는 방법도있습니다
