보안과 SEO에 최적인 바람직한 robots.txt 작성법 알려주세요.
본문
로봇이 꼭 따른다는 보장은 없다고 들었지만, 그래도 잘 만들어두면 SEO에 도움될 듯 합니다.
현재, 제가 사용하는 코드는 아래와 같습니다. 혹시, 개선할 점 있으면 말씀해 주세요.
https://homzzang.com/robots.txt
PS. 루트에 robots.txt 없이 운영하거나 규칙을 일반 사용자에게 숨기는 것도 가능한가요? ㅎ
sir 경우: 다른 페이지로 이동 안내 링크 사용
amina 경우: 메인으로 자동으로 보내 버림.
답변 1
adm 폴더는 그냥 robot.txt 파일에서 제거하는게 낫습니다. 뭐 어차피 알려진 폴더라서 있으니 없으나 큰 상관은 없겠지만 감춰야할 폴더를 disallow에 나열해서 일부러 알려줄 필요가 없죠. 그냥 권한만 잘 막혀있으면 됩니다.
감춰봤자 UA는 아주 쉽게 조작이 가능하고 IP 필터는 검색엔진들 IP 범위가 확장될 때 대응이 어렵고 잘 알려진 봇 외에는 어차피 필터링이 불가해서 의미가 없죠. robot.txt는 공개된 정보로 취급하고 비밀정보를 포함하지 않는게 맞습니다.
사례로 제시한 sir은 그냥 파일이 없어서 404 페이지가 나올 뿐이고, amina의 경우도 해당 파일이 없어서 그냥 인덱스로 보내는 것같네요.
아주 자세하게 조언해주셔서 정말 감사합니다.
( ^ __________ ~ ) ==b
답변을 작성하시기 전에 로그인 해주세요.
