봇관련 질문드립니다.
본문
구글 광고봇만 접근하게하고
구글 검색이나 기타 다른플랫폼들은 접근을 막고 싶은데 robot.txt에서 설정을 어떻게 해야될까요?
구글봇 허용을하면 구글 검색시에도 나오는것같아 구글애즈 광고만 봇을 허용하고싶습니다.
답변 2
안녕하세요.
구글 광고봇(Google AdsBot)과 구글 검색 봇(Googlebot)이 같은 알고리즘을 사용하는걸로 알고 있습니다.
따라서 각각 차단은 안됩니다.
결국 이렇게 되겠네요..
User-agent: Googlebot
Disallow: /
다음과 같이 해 보시는건 어떨까 합니다.
User-agent: Googlebot-Ads
Disallow:
User-agent: *
Disallow: /
답변을 작성하시기 전에 로그인 해주세요.
