다들 아시겠지만 구글이나 네이버에서 로봇으로 웹페이지를 수집하는데요
수집이 가능하게 아래 파일을 root 폴더에 올려보세요.제가 이것을 늦게 알아서 말입니다.
해보니까 구글의 경우 1-2일 사이에 웹페이지 노출 빈도가 확늘어나는것을 느낍니다
User-agent: *
Allow: /
.txt 파일로 만들어 서버 index.html 또는 index.php와 같은 위치에 올리면 됩니다.
메모장으로 만들면됩니다.
|
답변 2개
채택된 답변
+20 포인트
ceoseo
텍스트로 하셔도 되고 메타에 추가하셔도 됩니다.
반대로 하면 검색엔진 차단이구요.
상세는 아래 참고하세요.
http://www.robotstxt.org/meta.html
반대로 하면 검색엔진 차단이구요.
상세는 아래 참고하세요.
http://www.robotstxt.org/meta.html
2016-06-02 (목) 17:32:10
감사합니다.
답변을 작성하려면 로그인이 필요합니다.