모든 검색로봇 접근 차단
User-agent: *
Disallow: /

모든 검색로봇 접근 허용
User-agent: *
Allow: /

특정 검색로봇만 허용하고 나머지 차단하기
User-agent: *
Disallow: /
User-agent: *
Allow: Googlebot

특정 폴더만 접근 금지
User-agent: *
Disallow: /폴더명/
검색로봇
네이버 Yetibot
다음 Daumoa
구글 Googlebot
야후 Yahoo! Slurp
마이크로소프트 Msnbot
빙 Bingbot

만약 모든 검색로봇 접근을 허용할 때에는

User-agent: *
Allow: /

이렇게 메모장에 적으신 후 robots.txt 라는 이름으로

텍스트 파일을 저장 하신 후 사이트 경로의 FTP에 업로드 하시면 됩니다.