그누보드 - 네이버는 robots.txt 가 설치 된곳은 수집하지 않는다?

네이버는 robots.txt 가 설치 된곳은 수집하지 않는다? > 십년전오늘

십년전오늘

10년전 추억의 책장을 넘기며

네이버는 robots.txt 가 설치 된곳은 수집하지 않는다? 정보

네이버는 robots.txt 가 설치 된곳은 수집하지 않는다?

본문

robots.txt 에 대해 좀 찾아보다가 아래와 같은 문구를 발견했는요

이 말은 robots.txt 설치 된곳은 검색등의 수집을 안한다는 뜻인가요?

=====================================================================

1. 웹문서의 정의 및 수집

NAVER 웹문서란 네이버 통합검색결과 영역 중 ‘웹페이지’ 영역 안에 노출되는 문서들을 의미하며, NAVER 로봇 프로그램이 인터넷을 자동으로 돌아다니며
수집한 국내외의 다양한 웹문서들이 그 대상이 됩니다. NAVER 웹문서 검색은 인터넷 상에 소중한 정보들을 게시 제공한 웹 운영자와 저작자들의 의견을 존중하며
로봇 운영에 대한 국제적 기준을 준수하기 위해 최선을 다하고 있습니다.

2. NAVER의 웹문서 수집 정책과 robots.txt 에 대하여

(1) NAVER에서 운영 중인 검색 로봇은 Naverbot과 Yeti입니다.
(2) NAVER 검색 로봇은 robots.txt에 따르는 국제적인 검색 규약을 준수합니다. 자세한 내용은 http://www.robotstxt.org/robotstxt.html 을 참조하세요.
(3) robots.txt는 사이트나 문서를 검색으로부터 제외하는 표준 규약으로서 검색 업체들은 이 파일이 설치되어 있는 사이트나 이를 통해 지정된 페이지의 문서는 읽어오지
않습니다. 이는 검색을 위한 문서 수집 과정에서 사이트 운영자와 이용자의 입장을 우선하고, 올바른 인터넷 발전의 취지에 맞는 개인정보보호나 저작권 보호의 문제를
중요하게 다루기 위함입니다.
(4) 인터넷에 열람 가능하게 공개된 문서라고 할지라도, 그 공개가 꼭 검색 로봇을 포함한 모든 수단에의 공개나 복제, 이용 가능하다는 저작권자나 사이트 운영자의
허가를 의미하지 않습니다. 특히 개인적인 문서나 정보를 검색 등의 이유로 수집하게 될 경우 저작권 침해 또는 개인정보 유출의 문제가 발생할 수 있습니다.
따라서 당사자가 robots.txt를 설치하게 되는 경우, 이는 사람이 의도를 갖고 수행한 문서 수집 행위, 복제 뿐 아니라 기계적인 로봇의 검색을 포함한 어떠한 자동 수집
행위도 불허한다는 명백한 의사표시 입니다.
(5) 따라서 NAVER를 포함한 전세계의 양식 있는 검색 서비스들이나 수집 프로그램들은 이러한 공통의 robots.txt 규약을 제정하고, 이 파일이 설치된 경우에 대하여
검색 등의 수집을 중지하여 정보 보호와 인터넷 역기능 방지에 노력하고 있습니다.
(6) 웹로봇 운영과 관련된 문의는 고객센터를 이용해주시기 바랍니다.