구글 로봇 수집 금지 설정
본문
네이버 웹마스터도구 보면
로봇 수집 못하게 하는 설정이 있는데
구글이나 다음도 있나요 ?
있다면 어디서 해야 하나요 ?
답변 1
전체 금지면 robots.txt 파일 만들어서 루트 폴더에 올리고 파일 내용은 이렇게 넣으세요.
User-agent: *
Disallow: /
이거 정상작동 하나요?
비슷한거 만들어 봤는데 그래도 구글봇이 긁어 가더라고요
특정 게시판만 막으려해요~
답변을 작성하시기 전에 로그인 해주세요.