robots.txt 가 존재하지 않습니다.
본문
안녕하세요
네이버 웹마스터 도구 이용하여 사이트 등록중인데요
robots.txt 가 존재하지 않습니다. 라고 뜨는데요
robots.txt 해당 파일을
User-agent: *
Allow: /
FTP 접속해서
/www/robots.txt <- 여기에 넣어도 안돼고
/www/theme/thema/robots.txt <- 여기에 넣어도 안됩니다.
제가 경로를 잘못입력한걸까요? 아니면 어떤 문제가 이있는걸까요?
조언 부탁드립니다. ㅜㅜ
그리고 지금 네이버, 다음, 구글 등에서 사이트 검색이 될수있게하려고 작업중인데
네이버 웹마스터 등록하고, 구글웹마스터 등록하고, 다음사이트등록하면 정상적으로 검색이 잘될수있을까요?
답변 3
루트 위치에 넣으셔야되요
그리고 내용도 잘 살펴서 해야되요 즉 로봇은 크롤링해서 다 주소를 얻는거라서
어드민이나 민감한 게시판은 예외를 해서 넣으셔야되요
제가 티스토리 블로그 검색노출 을 예시로 한다면 이렇게 하신게 좋아요
https://memomee.tistory.com/455
여기서 전부다 똑같이 하는건 아니구요 어드민이랑 검색 노출 안하는것만 disallow 에 넣어주세요
그리고 사이트 맵이랑 rss 노출 하면 되구요 중요한게 사이트맵이니까 rss 안하신다면 최소한 사이트맵을 노출해야되요
제품정보 업로드겸 포털사이트에서 해당제품 검색시 노출시켜서 회사 홍보용으로 만든거라
민감한정보는 없어서 사실 다털려도 괜찮긴한데
어드민 긁어가면 문제되는 부분이 혹시 있을까요?
문의게시판 있는데 거기에 문의하는사람 이름 연락처 이메일 등등이 들어가긴 하네요
고객의 개인정보 얻는것들은 모두다 제외 시켜야되요
문의게시판은 당연히 제외를 해야죠
어드민은 꼭 넣으세요 이게 제일 중요한거라서요
봇이 의외로 많은걸 긁어가요~ 그리고 중국발 해킹도 많아요 제가 운영중인것만해도 몇가지 털릴뻔한게 한두가지라 아니라서.. 웹킷, xss 등 잔잔한 방법으로 막 시도하려는 흔적들이 많아요
별 볼거 없는 홈피들도 먹잇감 대상이에요..
www 폴더에 넣으셨으면 자신의 도메인/robots.txt 확인하신뒤 정상 확인되면
나중에 네이버에서도 알아서 자동으로 수집되니 기다리시면됩니다.
그리고 검색 노출은 홈페이지 seo 설정이나 색인 잘되어있어야지만 노출이 됩니다.
말씀하신대로 도메인/robots.txt 하니 잘되네요
감사합니다!
seo 설정이나 색인 .... 이것도 알아볼게요! 감사합니다!
하나하나씩 배워가는 재미가 있네요 ^^;
robots.txt의 실제 역활은 제외시키는 역활입니다.
디폴트가 허용이기 때문이죠.
즉, 없으면 허용과 동일하기 때문에 허용이 목적이라면 없어도 됩니다.
없어도 잘긁어가는 거였군요
특정 사이트에서 못긁어가게 하기위해서 쓰는 기능이라는 말씀이신거죠?
이렇게 하나 또 배워갑니다 감사합니다^^