봇에 대한 질문좀 드릴게요.
본문
게시판이 목록보기 권한이 1, 글 읽기 권한이 1 일텐데요.
이런 게시판은 봇이 제목, 본문 내용 전부 크롤링 해가는데요.
게시판이 목록보기 권한이 1, 글 읽기 권한이 2 인 경우에는
봇이 어떤식으로 크롤링하는지 궁금합니다.
게시판의 제목만 크롤링을 하는것인지,
아니면, 본문을 읽지 못하므로 제목까지 패싱하는지 궁금합니다.
답변 1
검색 봇 말씀하신건가요?
넵. 검색봇이여.
아. 본문 소스 체크가 안되니 당연히 크롤링이 안되는거네요. ㅎ
크롤링할때 태그 h1, h2 하고 p태그 등으로 긁어가는걸로 알고 있어요
답변을 작성하시기 전에 로그인 해주세요.