구글 robots.txt 방식이 변경된게 있나요?

구글 robots.txt 방식이 변경된게 있나요?

QA

구글 robots.txt 방식이 변경된게 있나요?

본문

색인이 생성되었으나 robots.txt에 의해 차단됨 메일이와서 확인해보니

2039408242_1600157898.6389.png2039408242_1600157901.8405.png2039408242_1600157905.0771.png

이렇게 오류를 띄우더라구요.

그동안 문제없었는데 혹시 다르게 지정해줘야 할께있나요? Disallow: 추가해줘야할까요?

2039408242_1600157950.3451.png

접속 테스트 해보면 정상적으로 허용됨 나오는데 왜 이런 오류가 나오는지....

이 질문에 댓글 쓰기 :

답변 2

혹시 BOM(Byte Order Mark) 붙었는지 확인해보세요.

- https://ko.wikipedia.org/wiki/%EB%B0%94%EC%9D%B4%ED%8A%B8_%EC%88%9C%EC%84%9C_%ED%91%9C%EC%8B%9D

 

Hex 에디터로 열어보거나, PHP로는 간단하게 아래처럼 확인해보면 됩니다.


<?php var_dump(file_get_contents('./robots.txt', FALSE, NULL, 0, 3));

Use로 뜨지 않으면 문제!

음 변경된건 없는데 바로 적용이 안됬거나 색인확인페이지에 자료가 삭제됬거나 한게 있지 않을까요

답변을 작성하시기 전에 로그인 해주세요.
전체 15
QA 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT