로봇자동수집이 가능하게 이 파일올려보세요

로봇자동수집이 가능하게 이 파일올려보세요

QA

로봇자동수집이 가능하게 이 파일올려보세요

본문

다들 아시겠지만 구글이나 네이버에서 로봇으로 웹페이지를 수집하는데요

수집이 가능하게 아래 파일을 root 폴더에 올려보세요.제가 이것을 늦게 알아서 말입니다.

해보니까 구글의 경우 1-2일 사이에 웹페이지 노출 빈도가 확늘어나는것을 느낍니다

 

User-agent: *

Allow: /

 

.txt 파일로 만들어 서버 index.html 또는 index.php와 같은 위치에 올리면 됩니다.

메모장으로 만들면됩니다.

 

이 질문에 댓글 쓰기 :

답변 2

답변을 작성하시기 전에 로그인 해주세요.
전체 123,680 | RSS
QA 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT