이전
목록
다음
엠

웹로봇 배제 표준

CLUB
프로필 보기게시판 작성글 보기전체 작성글 보기전체 댓글 보기
 · 2006-12-15 (금) 12:27:10 · 3178
방법 1. 웹로봇 배제 표준(Robot Exclusion Standard)에 의한 방법

- 웹로봇의 수집과 검색노출을 원치 않는 경우, 우선 해당 웹페이지가 위치한 최상위 디렉토리에 아래의 내용이 포함된 robots.txt 파일을 저장하시기 바랍니다.
User-Agent:*
Disallow:/

만약 웹로봇이 방문한 이후에 robots.txt 의 로봇배제관련 표준이 적용되었다면, 검색결과에 적용되기까지는 다소 시간이 걸릴 수 있습니다. 자세한 로봇배제에 대한 표준은 www.robotstxt.org 를 통해 알 수 있습니다.

- 특정한 페이지에 대해 웹로봇의 색인이나 링크분석을 막고 싶은 때는 경우에 따라 아래와 같은 메타태그를 HTML 문서의 <HEAD> 부분에 추가하시면 됩니다.

웹페이지를 검색결과에 노출하고 싶지 않을 때
<META NAME="robots" CONTENT="noindex">


웹페이지 내에 포함된 링크를 따르는 수집도 막고 싶을 때 <META NAME="robots" CONTENT="noindex, nofollow"><div class='small'>[이 게시물은 관리자님에 의해 2011-10-31 17:16:08 PHP & HTML에서 이동 됨]</div>
#퍼블리셔팁 #퍼블리셔 #팁자료실 #html
|
댓글을 작성하시려면 로그인이 필요합니다.

프로그램

8,188건
태그 필터 (최대 3개) 전체 개발자 소스 기타 mysql 팁자료실 javascript php linux flash 정규표현식 jquery node.js mobile 웹서버 os 프로그램 강좌 썸네일 이미지관련 도로명주소 그누보드5 기획자 견적서 계약서 기획서 마케팅 제안서 seo 통계 서식 통계자료 퍼블리셔 html css 반응형 웹접근성 퍼블리싱 표준화 반응형웹 홈페이지기초 부트스트랩 angularjs 포럼 스크린리더 센스리더 개발자톡 개발자팁 퍼블리셔톡 퍼블리셔팁 기획자톡 기획자팁 프로그램강좌 퍼블리싱강좌
+
제목 글쓴이 날짜 조회
07-07-16 조회 3,088
07-07-06 조회 2,962
07-07-06 조회 3,406
07-06-23 조회 3,229
07-06-16 조회 2,733
07-05-20 조회 4,234
07-05-09 조회 3,411
07-05-09 조회 6,053
07-05-04 조회 2,639
07-04-30 조회 9,787
07-04-27 조회 4,286
07-04-26 조회 3,405
07-04-25 조회 5,214
07-04-18 조회 7,732
07-04-13 조회 3,068
07-04-12 조회 6,587
07-04-12 조회 4,993
07-04-12 조회 3,299
07-04-11 조회 5,675
07-04-05 조회 6,324
07-03-24 조회 4,375
07-03-20 조회 3,692
07-03-18 조회 3,962
07-03-18 조회 4,709
07-03-17 조회 4,199
07-03-16 조회 4,102
07-03-15 조회 5,247
07-03-13 조회 5,347
07-03-13 조회 3,545
07-03-08 조회 4,462
07-03-08 조회 3,946
07-03-08 조회 3,250
07-03-08 조회 4,135
07-03-05 조회 4,373
07-03-04 조회 2,879
07-03-01 조회 5,916
07-02-28 조회 3,198
07-02-27 조회 4,369
07-02-26 조회 3,270
07-02-26 조회 2,987
07-02-23 조회 3,625
07-02-23 조회 3,593
07-02-22 조회 3,974
07-02-22 조회 3,773
07-02-19 조회 3,811
07-02-17 조회 4,826
07-02-14 조회 8,126
07-02-12 조회 3,895
07-02-10 조회 3,506
07-02-02 조회 3,749
07-01-31 조회 3,420
07-01-29 조회 3,274
07-01-25 조회 5,063
07-01-21 조회 3,207
07-01-19 조회 3,003
06-12-15 조회 3,988
06-12-15 조회 4,411
06-12-15 조회 2,900
06-12-15 조회 4,446
06-12-15 조회 3,341
06-12-15 조회 4,050
06-12-15 조회 2,992
06-12-15 조회 2,718
06-12-15 조회 4,591
06-12-15 조회 3,138
06-12-15 조회 3,228
06-12-07 조회 4,678
06-12-07 조회 3,969
06-12-04 조회 4,602
06-11-27 조회 3,653
06-11-21 조회 3,972
06-11-15 조회 3,412
06-11-04 조회 3,291
06-10-29 조회 3,947
06-10-13 조회 3,810
06-10-13 조회 4,174
06-10-13 조회 4,135
06-10-12 조회 5,328
06-10-12 조회 4,247
06-10-04 조회 3,738
06-10-02 조회 4,523
06-09-29 조회 3,011
06-09-26 조회 3,354
06-09-26 조회 3,607
06-09-26 조회 3,253
06-09-26 조회 3,401
06-09-26 조회 4,312
06-09-25 조회 4,609
06-09-22 조회 4,940
06-09-22 조회 3,507
06-09-21 조회 4,286
06-09-21 조회 4,300
06-09-21 조회 3,505
06-09-21 조회 5,165
06-09-21 조회 3,695
06-09-21 조회 3,432
06-09-20 조회 2,983
06-09-15 조회 3,114
06-09-13 조회 3,421
06-09-11 조회 3,235
글쓰기