robots.tx 파일 설정 문의 - 특정폴더 접근 제한 방법
본문
구글 로봇이 트래픽을 너무 잡아 먹어서 이미지가 있는 폴더를 접근제한해 볼려고 합니다.
아래와 같이 robots.txt 파일을 설정하면,
모든 로봇이 사이트에 접근할 수 있고,
구글 로봇도 사이트에 접근할 수 있는데, /data/file/land 폴더는 접근할 수 없다.. 맞는지요?
User-agent: *
Allow: /
User-agent: Googlebot
Disallow: /data/file/land/
답변을 작성하시기 전에 로그인 해주세요.
