질문 있습니다. 혹시 로봇이요,,,,
게시판이 노출 안되있어도 로봇이 접근 가능한가요?
최식글등을 통해서도 접근을 하는건지,
그리고, 로봇이 게시판 말고 노출 안되는 페이지(주소로 직접 들어가는 페이지)도
혹시 접근하나요?
최식글등을 통해서도 접근을 하는건지,
그리고, 로봇이 게시판 말고 노출 안되는 페이지(주소로 직접 들어가는 페이지)도
혹시 접근하나요?
|
댓글을 작성하시려면 로그인이 필요합니다.
로그인
댓글 4개
루트에 robots.txt 파일을 만드시고 로봇접근을 혀용할 폴더(파일)와 안할폴더(파일)를 지정해 주시면 됩니다.
사이트 다 막고싶으면..
User-agent: *
Disallow: /
지정해서 사용하시려면 아래내용 첨삭해서 올려놓으면 됩니다.
User-agent: *
Allow : /bbs/board.php
Allow : /bbs/list.php
Allow : /bbs/view.php
Disallow: /common.php
Disallow: /config.php
Disallow: /adm/
Disallow: /bbs/
그리고 주소값으로만 연결되는경우도 로봇이 접근하는건가요?
마음만 먹으면 다 퍼갈수있다는 이야기구요.
일부봇은 파일생성까지 해서 결과값을 긁어 가기도 합니다.
포스팅되어있는 곳 링크겁니다. 참고하세요
http://ko.wikipedia.org/wiki/%EB%A1%9C%EB%B4%87_%EB%B0%B0%EC%A0%9C_%ED%91%9C%EC%A4%80
http://blog.naver.com/mc_alex21?Redirect=Log&logNo=40078998356
저 이외의 다른 사람(타 임원진)도 접근해서 검색할수 있게 하였는데,
문득 로봇이 접근하면 어케 될라나 싶어서요,,ㄷㄷ