robot.txt 설정에 관해서.... 정보
robot.txt 설정에 관해서....
본문
현재 설정이 아래와 같습니다.
------------------------
User-agent: *
Disallow: /plugin
Disallow: /adm
Allow: /
Allow: /plugin/
--------------------------
그런데, 배추모바일 빌더가 /plugin 폴더안에 있어 구글 애드센스 로봇이 액세스를 목해 크롤러 오류가 생기고 있습니다.
plugin 폴더 안에는 여러 유료 프로그램이 많이 설치되어 있는데,
plugin 폴더 안의 모바일 빌더만 따로 허용을 해주려면 어떻게 해야 할까요?
------------------------
User-agent: *
Disallow: /plugin
Disallow: /adm
Allow: /
Allow: /plugin/
--------------------------
그런데, 배추모바일 빌더가 /plugin 폴더안에 있어 구글 애드센스 로봇이 액세스를 목해 크롤러 오류가 생기고 있습니다.
plugin 폴더 안에는 여러 유료 프로그램이 많이 설치되어 있는데,
plugin 폴더 안의 모바일 빌더만 따로 허용을 해주려면 어떻게 해야 할까요?
댓글 전체
하나씩 차단하시는건 어떠신지요?
Disallow: /plugin/폴더/
Allow: /plugin/ mobile/
이렇게 말이죠
아니면 아래와 같이도 되는걸로 알고 있습니다.
Disallow: /folder1/
Allow: /folder1/myfile.html
Disallow: /plugin/폴더/
Allow: /plugin/ mobile/
이렇게 말이죠
아니면 아래와 같이도 되는걸로 알고 있습니다.
Disallow: /folder1/
Allow: /folder1/myfile.html
l2zeo 님, 배추패밀리 상품 중 구글 로봇이 긁어가면 안되는 게 뭐뭐 있을까요?
구글 로봇이 긁어가 제 3자에게 노출되었을 때 문제가 생길 수 있는 거요...
귀찮아서 plugin 폴더 전체를 Disallow에서 제거했는데, 구글 애드센스에 아직도 로봇이 거부됨으로 나오네요.
다른 패밀리 상품은 괜찮은데, 배추 모바일 빌더와 레벨업 플래너가 특히 로봇 접근을 못하네요.
구글 애드센스가 크롤러를 못하도록 막는 스크립트와 CSS엔 어떤 것들이 있을까요?
구글 로봇이 긁어가 제 3자에게 노출되었을 때 문제가 생길 수 있는 거요...
귀찮아서 plugin 폴더 전체를 Disallow에서 제거했는데, 구글 애드센스에 아직도 로봇이 거부됨으로 나오네요.
다른 패밀리 상품은 괜찮은데, 배추 모바일 빌더와 레벨업 플래너가 특히 로봇 접근을 못하네요.
구글 애드센스가 크롤러를 못하도록 막는 스크립트와 CSS엔 어떤 것들이 있을까요?
크롤링을 못하도록 막는 스크립트라기 보단, 저해하는 스크립트는 존재할순 있겠지만, 그것이 어떤 스크립트인지는 저도 알지 못합니다.
한가지 다른 팁을 드리자면,
.htaccess 에서 rewrite 로 robots.txt 를 여러개 지정할순 있습니다.
예를들어 이런경우겠지요. 서브 도메인의 경우 배추 빌더의 모바일이 m 이라는 서브도메인을 사용하여야 하는데
robots.txt 가 루트에 있을테니 서브에 어케 적용하기가 불가능하겠죠.
이렇때 m.도메인.com 으로 들어오면, rewrite 로 처리해서 robots_mobile.txt 를 마치 robots.txt 처럼 읽게 하는것입니다.
그럼 m.도메인.com 을 크롤링할때 robots.txt를 읽는데 실제로는 robots_mobile.txt 이것을 robots.txt 로 읽게 만듭니다.
말씀하신 모바일빌더와 렙업 플래너가 갑자기 접근을 못하는것인지, 아니면 원래 접근을 못하였는지..
배추 패밀리중 크롤링을 되도록 막아야 할것은 스크랩이나 쪽지 와 같이 회원들간의 커뮤니케이션 목적의 플러그인 말고는 딱히 없는거 같습니다.
한가지 다른 팁을 드리자면,
.htaccess 에서 rewrite 로 robots.txt 를 여러개 지정할순 있습니다.
예를들어 이런경우겠지요. 서브 도메인의 경우 배추 빌더의 모바일이 m 이라는 서브도메인을 사용하여야 하는데
robots.txt 가 루트에 있을테니 서브에 어케 적용하기가 불가능하겠죠.
이렇때 m.도메인.com 으로 들어오면, rewrite 로 처리해서 robots_mobile.txt 를 마치 robots.txt 처럼 읽게 하는것입니다.
그럼 m.도메인.com 을 크롤링할때 robots.txt를 읽는데 실제로는 robots_mobile.txt 이것을 robots.txt 로 읽게 만듭니다.
말씀하신 모바일빌더와 렙업 플래너가 갑자기 접근을 못하는것인지, 아니면 원래 접근을 못하였는지..
배추 패밀리중 크롤링을 되도록 막아야 할것은 스크랩이나 쪽지 와 같이 회원들간의 커뮤니케이션 목적의 플러그인 말고는 딱히 없는거 같습니다.
자세한 조언 고맙습니다. 근데, 초보자에겐 살짝 어려운 내용이군요. ^^;;
조만간 배추 팁에 해당 내용 올리겠습니다.