남들은 googlebot막으려하는데.. 전 안읽어가서 난리입니다.ㅠㅠㅠ > 자유게시판

자유게시판

남들은 googlebot막으려하는데.. 전 안읽어가서 난리입니다.ㅠㅠㅠ 정보

남들은 googlebot막으려하는데.. 전 안읽어가서 난리입니다.ㅠㅠㅠ

본문

웹마스터도구에서 사이트 등록해주고, 크롤러 액세스에서 robots 등록해줬는데..

Googlebot 차단 사이트 라고 해서 url 뜨고, sitemaps에서 생성한 xml파일 업로드
시켜주니.. robots.txt에 의해 제한된 URL 이라고 나오고...

검색해서 찾아보니 robots.txt의 제한에 의해서 그런거 같다고 해서.. 전체 허용해줬는데도
마찬지네요~

이를 어째야할까요~

추천
0

댓글 6개

일단 robots.txt  올려주시고,
서버측에서 차단되어 있을 수도 있으니 웹호스팅 사용중이시면 호스팅사에 문의해보세요.
# robots.txt generated at http://www.mcanerin.com
User-agent: Googlebot
Disallow:
User-agent: *
Disallow:
Disallow: /_newadmin/
Disallow: /grmanager/
Disallow: /common_lib/
Disallow: /include/
Allow : /grkorea_chaga/

robots.txt 이고요~ 그리고 지금 다른 사이트는 google에 노출되고 있으니 호스팅사의 문제는 아닌거 같아요~
웹마스터 도구에서 robots.txt 만들어본건데 한번 해보세요.

User-agent: *
Disallow: /_newadmin/
Disallow: /grmanager/
Disallow: /common_lib/
Disallow: /include/
Allow: /grkorea_chaga/
Allow: /
감사해요~ 오늘 출근하자마자 적용시킨 다음에 조금 전에봤는데..
일단 차단된 사이트에서는 벗어났지만..

?User-agent: * 식별할 수 없는 구문입니다.
Disallow: /_newadmin/ User-agent를 지정하지 않았습니다.

이런 오류가 또 나오고 있네요;
저도 모르겠어요~ robots.txt에는 ?가 포함되있지 않은데...

오류상에서 ?user-agent: * 이렇게 나오네요..;;;
전체 17 |RSS
자유게시판 내용 검색

회원로그인

진행중 포인트경매

  1. 참여0 회 시작24.03.28 11:15 종료24.04.04 11:15
(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT