|
|
|
12-06-21
|
조회 1,636
|
|
|
|
12-06-21
|
조회 1,811
|
|
|
|
12-06-21
|
조회 1,134
|
|
|
|
12-06-21
|
조회 1,590
|
|
|
|
12-06-21
|
조회 1,751
|
|
|
|
12-06-21
|
조회 1,077
|
|
|
|
12-06-21
|
조회 1,661
|
|
|
|
12-06-21
|
조회 1,690
|
|
|
|
12-06-21
|
조회 1,133
|
|
|
|
12-06-21
|
조회 1,184
|
|
|
|
12-06-21
|
조회 3,023
|
|
|
|
12-06-21
|
조회 974
|
|
|
|
12-06-20
|
조회 829
|
|
|
|
12-06-20
|
조회 1,066
|
|
|
|
12-06-20
|
조회 1,712
|
|
|
|
12-06-20
|
조회 1,165
|
|
|
|
12-06-20
|
조회 1,704
|
|
|
|
12-06-20
|
조회 1,132
|
|
|
|
12-06-20
|
조회 1,064
|
|
|
|
12-06-20
|
조회 1,920
|
댓글 2개
http://en.wikipedia.org/wiki/Noindex
이런 방식으로 로봇의 크롤링 여부를 지정할 수 있겠네요.
하지만 저걸 어기는 봇도 많은데 그런 경우는 어쩔 수가 없겠죠