봇이 짜증나세요. 그럼 간단히 막아버리세요. > 자유게시판

자유게시판

봇이 짜증나세요. 그럼 간단히 막아버리세요. 정보

봇이 짜증나세요. 그럼 간단히 막아버리세요.

본문

<meta NAME="robots" CONTENT="ALL"> : 현재의 페이지와 링크되고 있는 페이지의 검색을 허가함.
<meta NAME="robots" CONTENT="NONE"> : 아무것도 검색을 허가하지 않음.
<META name="robots" content="index,follow" /> : 이 문서도 긁어가고 링크된 문서도 긁어감.
<META name="robots" content="noindex,follow" /> : 이 문서는 긁어가지 말고 링크된 문서만 긁어감.
<META name="robots" content="index,nofollow" /> : 이 문서는 긁어가되, 링크는 무시함.
<META name="robots" content="noindex,nofollow" /> : 이 문서도 긁지 않고, 링크도 무시함.

메타태그로 봇을 길들이세요.ㅋㅋ
추천
2

댓글 12개

http://www.mcanerin.com/EN/search-engine/robots-txt.asp
여기도 원하는 봇을 차단하는 robots.txt 를 만들어 주고 있지만
데이터를 수집하고 인덱싱하는 회사가 따로있고
이것을 포털에 판매하는 형식이 되다보니
규정을 지키지 않고 마구 긁어간다는데 문제가 있어보입니다.
로봇배제정책을 따르지 않는 곳도 많습니다.
말씀하신 예티도 그렇고,
특히 정보수집을 목적으로 하는 크롤러들은 더더욱 심하지요.

그런데도 불구하고 로봇배제표준정책이
모든 상황에 들어 맞는다고 생각하는 것은 상당한 무리가 있습니다.
흠...
<meta NAME="robots" CONTENT="NONE"> : 아무것도 검색을 허가하지 않음.
이걸 넣었는데도 로봇들이 막 들어오네요 ㅠ_ㅠ
메타로 리모트를 걸어놨는데 그위에 메타를 한줄 더 적었거든요.
그래서 그런건가... 효과가 없어요 ㅠ_ㅠ
전체 199,680 |RSS
자유게시판 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1402호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT