남들은 googlebot막으려하는데.. 전 안읽어가서 난리입니다.ㅠㅠㅠ
웹마스터도구에서 사이트 등록해주고, 크롤러 액세스에서 robots 등록해줬는데..
Googlebot 차단 사이트 라고 해서 url 뜨고, sitemaps에서 생성한 xml파일 업로드
시켜주니.. robots.txt에 의해 제한된 URL 이라고 나오고...
검색해서 찾아보니 robots.txt의 제한에 의해서 그런거 같다고 해서.. 전체 허용해줬는데도
마찬지네요~
이를 어째야할까요~
|
댓글을 작성하시려면 로그인이 필요합니다.
댓글 6개
서버측에서 차단되어 있을 수도 있으니 웹호스팅 사용중이시면 호스팅사에 문의해보세요.
User-agent: Googlebot
Disallow:
User-agent: *
Disallow:
Disallow: /_newadmin/
Disallow: /grmanager/
Disallow: /common_lib/
Disallow: /include/
Allow : /grkorea_chaga/
robots.txt 이고요~ 그리고 지금 다른 사이트는 google에 노출되고 있으니 호스팅사의 문제는 아닌거 같아요~
User-agent: *
Disallow: /_newadmin/
Disallow: /grmanager/
Disallow: /common_lib/
Disallow: /include/
Allow: /grkorea_chaga/
Allow: /
일단 차단된 사이트에서는 벗어났지만..
?User-agent: * 식별할 수 없는 구문입니다.
Disallow: /_newadmin/ User-agent를 지정하지 않았습니다.
이런 오류가 또 나오고 있네요;
오류상에서 ?user-agent: * 이렇게 나오네요..;;;