네이버 로봇
본문
네이버 웹마스터에서 로봇을 인식했다 못했다 하는데요.
그누5 설치 후 robot.txt 를 별도로 만들어 루트에 올려야하나요 ?
올리지 않아도 긁어 가나요 ?
답변 3
robot.txt 에 아래와 같이 User-agent 네이버로봇명과 긁어가게할 Allow 폴더와 파일을 설정해주시고, 못긁어가게할 Disallow 폴더와 파일을 설정해주면 네이버로봇이 보다 더 잘 인식을 하게 됩니다.
User-agent: naverbot
Allow: /index.php
Allow: /sitemap.xml
Allow: /sitemap.txt
Allow: /bbs/board.php
Allow: /bbs/list.php
Allow: /bbs/new.php
Allow: /bbs/view.php
Allow: /bbs/group.php
Allow: /bbs/link.php
Allow: /bbs/search.php
Allow: /bbs/tb.php
Allow: /bbs/rss.php
Allow: /sitemap/
Allow: /sitemap/sitemap.xml
Allow: /m/
Disallow: /adm/
Disallow: /css/
Disallow: /data/
Disallow: /extend/
Disallow: /images/
Disallow: /img/
Disallow: /inc/
Disallow: /install/
Disallow: /js/
Disallow: /lib/
Disallow: /mobile/skin/
Disallow: /plugin/
Disallow: /skin/
별도로 robot.txt 파일을 만들어 올려야한다는거죠?
모몽님께
네, 맞습니다.
robot.txt에
User-agent: *
Disallow:
위 와 같이 넣으시면 되요.
