이 사이트맵 생성 사이트는 원래 이런가요??
본문
아까 한 7시간 동안 계속 이러길래 걍 포기하고 다시 시작했는데, 보니까 평생 사이트맵 생성할 것 같은데..
원래 이 사이트는 이런 가요?
답변 2
※ robots.txt 설정으로 모든 크롤러를 차단 하신 것은 아니가요?
아뇨
User-agent: *
Allow:/
이렇게 돼 있습니다.
회원 login page가 있나요?
없으시다면,
페이지의 direct 중에 페이지의 link가 무한 loop에 걸리게 했을 수도 있음.
회원 로그인 페이지라는 건, 회원만 볼 수 있는 페이지를 말씀하시는 건가요??
일단 기본적으로 비회원도 이용할 수 있는 사이트입니다.
크롤러가 회원 로그인 페이지에서 멈출 수 있음
https://pro-sitemaps.com/
이 사이트이신가요?
그 외에도 변수들이 있음
- 리다이렉트
>>> 무한 loop일 가능성을 염두해 두세요.
체크하는법, 사이트를 가볍게 만들고 시도하여서 만들어지지 않으면,
>>> 해외 사이트(즉, 사이트맵 크롤러가 차단된 경우) 차단등 방화벽 확인 ~
제작 크롤러를 한번 바꿔서 시도해 보세요.
그 크롤러가 차단 됐을 수도 았음.
xml 페이지가 나와야돼요
빨간색 글자 나오면서 <xml></xml> 노드로 나와야되요
답변을 작성하시기 전에 로그인 해주세요.