로봇이 웹문서를 수집하고 다니는데요. 페이지제한이나 사이트부분제한은 수집거부를 할수 있는데.. 문서중에 아이디와 닉네임도 모두 크롤링하기 때문에 부분적으로 이부분만 못긁어가게 하고 싶은데 부분적으로 크롤링 제한을 할수 있는 방법이 있을까요?