'로봇배제 표준'을 따른다는 가정이 붙어야 겠지요.
스팸을 목적으로 하는 대부분의 로봇은 '로봇배제 표준'을 지키지 않는 것으로 알고 있습니다.
모음형 검색(메타검색과는 다른 의미)을 서비스(?!)하면서 포털사이트를 표방하는
대부분의 사이트 또한 '로봇배제 표준'을 준수하지 않고 있으며,
검색엔진을 가동하는 구글, 네이버 등 대표적인 (포털)사이트는 '로봇배제 표준'을 지킨다고 합니다.
('네이버'의 경우는 정말로 '로봇배제 표준'을 따르는지 미심쩍습니다만...)
댓글 3개
단점은 글쓸때 귀찬다는 거 정도 겠네요.
검색엔진을 통한 사이트 방문객이 많이 줄어들게 됩니다.
스팸을 목적으로 하는 대부분의 로봇은 '로봇배제 표준'을 지키지 않는 것으로 알고 있습니다.
모음형 검색(메타검색과는 다른 의미)을 서비스(?!)하면서 포털사이트를 표방하는
대부분의 사이트 또한 '로봇배제 표준'을 준수하지 않고 있으며,
검색엔진을 가동하는 구글, 네이버 등 대표적인 (포털)사이트는 '로봇배제 표준'을 지킨다고 합니다.
('네이버'의 경우는 정말로 '로봇배제 표준'을 따르는지 미심쩍습니다만...)