안녕하세요 검색봇 질문입니다.
본문
안녕하세요!
현재 사이트 쇼핑몰 내에서 폐쇄물로 운영중이여서, 상품들의 가격과 내용들이 검색로봇을 통해 수집이 안되고 검색하였을때 안나오기를 희망합니다.
현재 호스팅 루트에 robots.txt
User-agent: *
Disallow: /shop/
로 설정을 해놓았고 shop 헤드에 meta 설정도 하였는데,
하루가 지나도 영카트에 등록한 상품이 검색이 되고있어서요...
구글측의 업데이트 반영의 시간이 더 필요한것인지 설정을 잘못한것인지 궁금합니다.
선생님들의 조언 부탁드립니다. 감사합니다.
답변 1
폐쇄몰인데 봇을 왜 심나요?
모든 검색로봇 접근 차단
User-agent: *
Disallow: /
모든 검색로봇 접근 허용
User-agent: *
Allow: /
구글 검색로봇 차단
User-agent: Googlebot
Disallow: /
네이버 검색로봇만 접근 허용
User-agent:Yeti
Allow: /
User-agent: *
Disallow: /
특정 디렉토리만 검색로봇 차단
User-agent: *
Disallow: / 디렉토리명
참고하세요
선생님 답변 감사드립니다.^^
오늘하루도 좋은하루보내세요!
답변을 작성하시기 전에 로그인 해주세요.