웹로봇이 사이트를 어떻게 해야 더 잘 긁어갈까 고민하다가

실제로 웹로봇이 어떻게 긁어간 것이 어떻게 표현되고 어디에서 어느링크로 넘어가는지 한번 확인 해보려고 웹크롤러를 찾고 있습니다.

근데 다들 제대로 작동 하는게 없네요.

http://astellar.com/php-crawler/
이거 같은 경우엔 php, mysql 이라 설치가 편해서 해봤는데 막상 수집을 못하고 있네요. 설치방법은 무지 쉬운데 뭘잘못한건지..

php스쿨에 올라온 스파이더 뷰어도 괜찮긴 한데 수집이 아니라 페이지 보기만 하는거라 약간 부족하고....

어디 괜찮은 크롤러 없나요?