robots.txt 파일은 어떻게 만드나요?
본문
네이버 웹마스터도구 robots.txt 최적화하려고 하는데
이걸 어떻게 만드나요?
그냥 메모장에 robots.txt라는 파일명으로 만들어서 ftp프로그램 root 폴더안에 넣으면 되나요??
그리고 그 내용안에
User-agent: *
Allow: /
라고만 쓰면 되나요? 이게 모든 검색로봇을 허용하는거죠???
이렇게 해도 무관한가요?
다른 분들은 뭘 차단하고 그러시던데ㅠㅠ 차단하는 이유가 뭔가요?
많이 들어오면 더 좋은거 아닌가요?
답변 4
네 그냥 메모장에 내용 작성해서 올리면 됩니다.
차단하는 이유는 용도에 따라서 사용하려고 하기 때문인거 같습니다.
네 그냥 메모장으로 저장하시고 ftp 로 업로드하시면됩니다
차단은 봇이 우리 웹사이트들어와서 데이터수집하는걸 방지하기위해서 차단하는거죠 ~
차단하는 이유는 보안이 필요한 디렉토리 또는
로봇이 너무 많이 접속할때(트래픽 문제) 등 이 있습니다.
모두모두 감사합니다 :)
답변을 작성하시기 전에 로그인 해주세요.