구글 크롤링 빈도 제한 작동이 안되는거 같네요..

KillTraffic

프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기

· 2019-11-07 (목) 13:21:24 · 조회 1447 1447

831941931_1573100277.8262.png

구글봇이 크롤링을 너무너무 자주 해가는것 같아서 크롤링 빈도를 최대로 낮게 설정을 했는데

변화가 없는걸 보니 이게 작동을 안하는것 같네요. 적용한지 몇시간이나 지났는데 혹시 적용되려면 몇일씩 걸리고 그러나요?

찾아보니 구글봇은 robots.txt 파일의 Crawl-delay 옵션도 무시한다고 하는데..

검색에 노출은 되어야하니 구글봇을 완전 차단하진 못하겠고..

이 크롤링 빈도를 어떻게 제한할지 고민입니다 ㅠㅠ

댓글을 작성하시려면 로그인이 필요합니다.

자유게시판

203,258건

제목	글쓴이	날짜	조회
테스트 부탁드립니다. [4]	컴대장 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-08	조회 1,288
이럴 때는 어떻게 하지요? [13]	orbital 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-08	조회 1,447
샤를드골 항공모함 4조 5,000억, 한.미방위비 분담금 6조 [16]	묵공 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,341
어제는 유독 애드센스 수익이 높게 나왔네요 [3]	KillTraffic 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,419
대만 이거 사진빨이겠죠? [22]	묵공 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,533
모니터 55인치 4k 질렀는디유~~ [10]	indory 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,481
가을을 타고... [4]	탈퇴회원 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,149
2019 순욱 [4]	탈퇴회원 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,316
슬럼프... [7]	오리궁딩 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,329
네이버 뉴스를 퍼와서 보여주면... [3]	컴대장 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,306
추억이 새록새록...ㅋㅋㅋ [4]	해피아이 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 929
카카오 거의 해킹 수준이네요.ㅎ [9]	컴대장 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,441
구글 크롤링 빈도 제한 작동이 안되는거 같네요..	KillTraffic 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,448
영카트 php버전업하면~ [8]	릴보이즈 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,396
역시 새것이 좋다~ [15]	iwebstory 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,312
몸에 정말 좋은 것 하나 추천 [11]	묵공 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,268
이렇게 하면 나도 가능할까? [38]	orbital 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,492
어제 인터넷 설치하다가... [11]	미운오리스키 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,333
어렵사리 그누보드 리액트로 프런트엔드 구축.. [9]	아르키어드 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 1,485
집에서 두꺼운 종이(평량 200g 이상) 출력 가능한 프린터 아시는분 계신가요? [2]	makesomehome 프로필 보기 게시판 작성글 보기 전체 작성글 보기 전체 댓글 보기	19-11-07	조회 7,833