검색 로봇들 차단해야하나요?
본문
구글 로봇 등등...
하루에 2~30개씩 방문하는 거 같아요;
차단을 해야 좋은 건지.. 아니면 놔둬야 검색에 반영이 되는건지 궁금합니다.
홈페이지의 별 구석구석을 다 뒤적거리면서 다녀서
대체 무슨짓을 하는 건지 은근 신경쓰이네요 ^^;;
답변 2
사실 제공할정보와 별도로 봇이 안들어와도 되는부분을 분리해주는게 좋습니다.
robots.txt 규약을 지키는 크롤링봇일테니 (네이버,다음,구글 등의 대부분)
아래 URL을 통해서 효과적으로 노출되는 방법을 찾아보세요.
https://www.xpressengine.com/tip/22483625
검색에 반영되길 원하신다면 차단을 하시면 안됩니다.
검색봇은 사이트에 등록된 게시물을 검색사이트에 반영되게끔 정보를 자동으로 수집해가는 일을 합니다.
답변을 작성하시기 전에 로그인 해주세요.