robots.txt 파일은 어떻게 만드나요?

Question

네이버 웹마스터도구 robots.txt 최적화하려고 하는데

이걸 어떻게 만드나요?

그냥 메모장에 robots.txt라는 파일명으로 만들어서 ftp프로그램 root 폴더안에 넣으면 되나요??

그리고 그 내용안에

User-agent: *

Allow: /

라고만 쓰면 되나요? 이게 모든 검색로봇을 허용하는거죠???

이렇게 해도 무관한가요?

다른 분들은 뭘 차단하고 그러시던데ㅠㅠ 차단하는 이유가 뭔가요?

많이 들어오면 더 좋은거 아닌가요?

에이치H · Accepted Answer

네 그냥 메모장에 내용 작성해서 올리면 됩니다. 차단하는 이유는 용도에 따라서 사용하려고 하기 때문인거 같습니다.

싱건지 · Answer

모두모두 감사합니다 :)

devdev · Answer

차단하는 이유는 보안이 필요한 디렉토리 또는 로봇이 너무 많이 접속할때(트래픽 문제) 등 이 있습니다.

마스터이 · Answer

네 그냥 메모장으로 저장하시고 ftp 로 업로드하시면됩니다 차단은 봇이 우리 웹사이트들어와서 데이터수집하는걸 방지하기위해서 차단하는거죠 ~