몽

robots.txt 로봇방지하면 좋은점과 나쁜점은??

robots.txt를 작성하여 서버에 업로드하니깐, 확실히 차단되네요..
 
robots.txt 하면..검색엔진에 등록되어있는데, (네이버 등..) 영향력 있습니까??

댓글 3개

robots.txt를 삽입하면 성인광고 글등이 로봇으로 등록 되는 현상을 막을수 있어서 좋구요

단점은 글쓸때 귀찬다는 거 정도 겠네요.
검색엔진이 사이트 정보를 수집할 수 없기 때문에
검색엔진을 통한 사이트 방문객이 많이 줄어들게 됩니다.
'로봇배제 표준'을 따른다는 가정이 붙어야 겠지요.
스팸을 목적으로 하는 대부분의 로봇은 '로봇배제 표준'을 지키지 않는 것으로 알고 있습니다.
모음형 검색(메타검색과는 다른 의미)을 서비스(?!)하면서 포털사이트를 표방하는
대부분의 사이트 또한 '로봇배제 표준'을 준수하지 않고 있으며,
검색엔진을 가동하는 구글, 네이버 등 대표적인 (포털)사이트는 '로봇배제 표준'을 지킨다고 합니다.
('네이버'의 경우는 정말로 '로봇배제 표준'을 따르는지 미심쩍습니다만...)
댓글을 작성하시려면 로그인이 필요합니다.

그누보드4 관련 질문은 QA 로 이전됩니다. QA 그누보드4 바로가기 기존 게시물은 열람만 가능합니다.

+
제목 글쓴이 날짜 조회
07-02-14 조회 1,602
07-02-14 조회 1,636
07-02-14 조회 1,693
07-02-14 조회 1,654
07-02-14 조회 1,785
07-02-14 조회 1,686
07-02-14 조회 2,697
07-02-14 조회 1,619
07-02-14 조회 1,631
07-02-14 조회 1,633
07-02-14 조회 3,346
07-02-14 조회 2,216
07-02-14 조회 2,056
07-02-14 조회 2,000
07-02-14 조회 1,764
07-02-14 조회 7,199
07-02-14 조회 1,612
07-02-14 조회 1,684
07-02-13 조회 1,741
07-02-13 조회 1,660