robots.txt 질문입니다.

robots.txt 질문입니다.

QA

robots.txt 질문입니다.

본문

안녕하세요. 주말 잘 보내시고 계신가요?

 

robots.txt 파일 작성을 많이 검색해봐도 헤깔립니다.

어떻게 하는게 적당한(?) 방법일까? 고민 중입니다.

 

그래서 ChatGPT에게 나의 고민을 말했습니다.

그랬더니 아래와 같이 답변을 줬습니다.

 

1. 아래 ChatGPT 답변에 대한 팩트 체크 부탁드립니다.

 

2. 아래 문구에서 구글봇은 admin 폴더외 다른 페이지/폴더는 접근이 가능한건가요?

전제 조건으로 모든 로봇은 접근 금지!!! 했는데 아래와 같이 개별 적으로 로봇을 정의하면 적용이 되는것인지? 아니면 모든 로봇을 막았는데 개별 허용설정은 의미가 없는건지? 이 부분이 가장 헤깔립니다.

 

그래서 제 생각에는 만약 처음에 모든 로봇 차단 후 밑으로 개별 설정이 가능하다면. 아래와 같이 먼저, 구글봇은 1) 모든 곳에 대해 접근이 가능하다를 선언하고 2) 하지만 admin 폴더는 접근 안돼~!!!! 라고 정의 해주는게 맞지 않나? 란 생각을 해봅니다. 점점 더 헤깔리기 시작하네요. ㅠㅠ

 

User-agent: Googlebot 

Allow: /

Disallow: /admin/

 

833227679_1710598752.985.png

 

 

3. 그리고 아래 중 어떻게 설정하는게 효율적일까요?

1) 모든 검색로봇 막는다 > 내가 필요한 검색로봇만 몇개 허용한다.

2) 모든 검색로봇 허용한다 > 세계적으로 유명한 악질 검색로봇을 막는다.

 

 

먼저 감사 드립니다.

그리고 남은 주말 잘 보내세요. 

 

 

 

이 질문에 댓글 쓰기 :

답변 2

1. 그누보드 자체에서 보안처리했기 때문에 robot 파일에 굳이 관리자 폴더 위치 공개할 필요 없다네요.

2. 서버 자원 넉넉하면 주소 퍼가게 하고, 안 넉넉하면 필요한 봇만 접근시키세요.

관리페이지의 경우 robots.txt 파일에 정의하지 않는 것이 좋습니다.

또한 관리자 외의 접근은 php 코드상에서 접근을 비허용 하는 방향으로 잡는 것이 좋습니다.

답변을 작성하시기 전에 로그인 해주세요.
전체 15
QA 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT