너무 과도한 구글크롤링으로 인해서...하루 100G바이트트래픽
본문
너무 과도한 구글크롤링으로 인해서 서버에 무리가 가는 상황입니다.
우선 초창기라서 왠만하면 크롤링 되는것은 좋은데..서버에 너무 무리가 가고 서버비가 감당이 안될려고하네요..
그래도 구글크롤링 속도를 느리게 조정해보니깐, 방문자가 확줄어들어버리는 현상을 전에 한번 경험해봐서요.
우선은 구글크롤링속도 느리게 조정은 안하고 있는데요,
찾다가
이런 글을 찾았었는데요,
구글봇에대해서 좀 잘 아시는분이시라면 좀 알려주셨으면 해서요, 사용할경우에, 구글검색에서 제외된다던가, 뭐 이런 문제는 발생하지 않을까싶기도하고해서요.
그리고 저 소스를 어느파일에 넣어야되는지를 잘 모르겠습니다..
그럼 혹시 아시는 고수님들 계시면 부탁좀 드릴께요.
거의 70%가 구글봇이고,,,나머지만 방문자입니다.
구글봇이 너무 많아서요..
그래도 싹막어버릴수도 없는 상황이고, 최대한 방문자숫자는 그대로 두면서, 크롤링만 저 소스를 이용해볼려고합니다.
한달에 500G 트래픽짜리 쓰는데, 뭐 거의 초가분이 많아서요..서버추가비도 너무 많이 나올듯 싶네요..ㅠ.ㅠ
의견 좀 부탁드릴께요..고수님들...제가 php를 잘 모릅니다. 자세히 좀 적어주시면 정말 큰 도움 될듯 싶어요..제발..
답변 1
그 소스는 extend폴더 내에 있는 user.config.php 파일에 넣으시면 될거라 보이고 robots.txt에서 덩치 큰 이미지들이 위치한 data폴더를 접근금지로 만드는 것도
한 방법일 수도 있겠습니다.
답변을 작성하시기 전에 로그인 해주세요.
