구글로봇에 관하여 질문드립니다.
본문
로그인을 해야 접근이 가능한 사이트의 경우
구글로봇이 첫페이지(로그인페이지)까지만 크롤링하고 나간다고 알고 있습니다.
robot.txt 의 설정 등으로 구글로봇이 로그인페이지 이후까지 접근을 가능하게 할 방법이 없을까요?
이 부분 때문에 정말 많은 스트레스를 받네요...
답변 4
리스트만 볼수있도록 하면되죠
그걸 어떻게 하는건가요...
게시판관리자 페이지에서 레벨 설정하시면 됩니다
로그인해야만 보이게 해놓은 사이트가 검색결과에 나오면 뭔가 이상한듯해요
로그인안하면 안보여줄려고 로그인해야만 보이게 해둔것일텐데
로그인안하면 안보여줄려고 로그인해야만 보이게 해둔것일텐데
그런데 네이버 등의 카페라던지 혹은 일부 사이트의 경우 안의 내용이 검색결과에 나오는 경우는 빈번하더라구요
다만 해당 글을 클릭했을때는 내용이 안보이고 로그인화면이 뜬다던지 하더라고요.
만약 로그인이 된상태에서 그 검색결과를 눌렀으면 바로 보여지구요...
봇일 경우는 내용을 볼수 있게 끔 수정하시면 됩니다.
봇 체크하는 소스는 구글링하시면 나오니깐 찾아보시기 바랍니다.
Google bot is not crawling your website inner pages because it may be blocked/disallowed by robots.txt. If you want google bot to crawl inner pages to under home page then check your robots.txt file or contact your webaster. This resource will help to understand robots.txt file, if you don't know.
답변을 작성하시기 전에 로그인 해주세요.
