robots.txt 와 신디케이션 > 그누4 질문답변

그누4 질문답변

그누보드4 관련 질문은 QA 로 이전됩니다. QA 그누보드4 바로가기
기존 게시물은 열람만 가능합니다.

robots.txt 와 신디케이션 정보

robots.txt 와 신디케이션

본문

보통 웹문서 수집 로봇의 방문을 제한하기 위해 robots.txt 문서를 적용하는걸로 아는데요.
신디케이션에도 똑같이 제한이 되는건지 궁금합니다.
이와는 무관하게 신디케이션은 독립된 창구를 통해 수집하는 것인지요

만약 robots.txt 문서가 신디케이션에 영향을 주지 않는다면 신디케이션의 게시판 일부 수집에
제한을 두는 방법이 궁금하네요.
작성자에 의해 채택됐습니다.
robots.txt는 로봇이 아무곳에나 접근을 할 수 있게 하거나 특정 폴더를 막는것이죠
하지만, 신디케이션은 폴더로 이동하는게 아니고 신디케이션 파일을 통해서 검색을 하는걸로 알고 있습니다
신디케이션에서 ping을 쏘고 그 핑이 정상이면 신디케이션 파일을 통해서 사이트의 게시글 중에서 접근이 가능한 글들을 골라서 접근을 하는 방식입니다
rss와 비슷하다고 보시면 됩니다

덧붙이자면 신디케이션으로 검색된 게시글들은 네이버 검색창에 "site:신디케이션등록도메인" 와 같은 방식으로 검색하면 웹문서가 뜨게끔 되어있습니다
예)site:cleartown.com

예에 해당하는 사이트에는 로봇자체가 존재하지 않지만 신디케이션을 통해서 게시글들을 긁어 들입니다
그럼 도움이 되셧길바랍니다

댓글 전체

작성자에 의해 채택됐습니다.
robots.txt는 로봇이 아무곳에나 접근을 할 수 있게 하거나 특정 폴더를 막는것이죠
하지만, 신디케이션은 폴더로 이동하는게 아니고 신디케이션 파일을 통해서 검색을 하는걸로 알고 있습니다
신디케이션에서 ping을 쏘고 그 핑이 정상이면 신디케이션 파일을 통해서 사이트의 게시글 중에서 접근이 가능한 글들을 골라서 접근을 하는 방식입니다
rss와 비슷하다고 보시면 됩니다

덧붙이자면 신디케이션으로 검색된 게시글들은 네이버 검색창에 "site:신디케이션등록도메인" 와 같은 방식으로 검색하면 웹문서가 뜨게끔 되어있습니다
예)site:cleartown.com

예에 해당하는 사이트에는 로봇자체가 존재하지 않지만 신디케이션을 통해서 게시글들을 긁어 들입니다
그럼 도움이 되셧길바랍니다
전체 66,558 |RSS
그누4 질문답변 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT