robots.txt 크롤링 허용 범위 항목 리스트 좀 알려주세요!!
본문
안녕하세요 현재는 크롤링 시 아무 제한없이 모든 폴더 및 파일에 접근하여 읽고 정보를 긁어 갈 수 있습니다.
그렇다보니 플러그인 인덱스 파일등이 포탈에 노출되고 있어서 보안상 안 좋을 것 같아 수정을 해보려고 합니다.
그누보드+영카트 기반일 경우 시스템 파일이 아닌, 컨텐츠의 문서와 이미지만 크롤링 가능하도록 하고싶은데요
어떤 경로 및 파일들을 차단하고 또 어떤 파일들을 허용하면 될까요?
무조건 차단해야 하는 경로와 파일들이 있다면 알려주셔요!!
답변 1
User-agent: *
Disallow: /bbs/confirm.php
Disallow: /shop/
Disallow: /plugin/
Disallow: /shop/orderinquiry.php
Disallow: /bbs/password_lost.php
Disallow: /plugin/kcaptcha/
Disallow: /bbs/helper.php?act=map
Disallow: /plugin/apms/js/
Disallow: /bbs/search.php
Disallow: /plugin/apms/bxSlider/plugins/
Disallow: /bbs/alert_close.php
이런식으로 설정 하면 될 것입니다.
설국역차님 답변 감사합니다!
알려주신 리스트대로 적용해보겠습니다!
답변을 작성하시기 전에 로그인 해주세요.