구글 robots.txt 방식이 변경된게 있나요?
본문
색인이 생성되었으나 robots.txt에 의해 차단됨 메일이와서 확인해보니
이렇게 오류를 띄우더라구요.
그동안 문제없었는데 혹시 다르게 지정해줘야 할께있나요? Disallow: 추가해줘야할까요?
접속 테스트 해보면 정상적으로 허용됨 나오는데 왜 이런 오류가 나오는지....
답변 2
혹시 BOM(Byte Order Mark) 붙었는지 확인해보세요.
- https://ko.wikipedia.org/wiki/%EB%B0%94%EC%9D%B4%ED%8A%B8_%EC%88%9C%EC%84%9C_%ED%91%9C%EC%8B%9D
Hex 에디터로 열어보거나, PHP로는 간단하게 아래처럼 확인해보면 됩니다.
<?php var_dump(file_get_contents('./robots.txt', FALSE, NULL, 0, 3));
Use로 뜨지 않으면 문제!
혹시나 싶어 robots.txt 확인해보니 utf-8+bom 으로 되어있길래 utf-8 저장해서 올리긴했는데 일단 지켜봐야겠네요....
음 변경된건 없는데 바로 적용이 안됬거나 색인확인페이지에 자료가 삭제됬거나 한게 있지 않을까요
오늘 이렇게 메일오니깐 쪼끔 당황스럽더라구요...딱히 뭐 건든것도없는뎅....
저렇게 되버리니...
답변을 작성하시기 전에 로그인 해주세요.
