이미지 크롤링 못하게나 어렵게 하는 방법
본문
그누보드 스킨이나
나리야빌더 스킨 사용 시
크롤링 프로그램으로 이미지 수집할 때
그누보드를 사용하지 않은 다른 대부분 다른 사이트는
일부만 수집이 되거나 제대로 수집이 안되는데 비해
그누보드 게시판으로 보이는 페이지들은
아주 꼼꼼하게 모조리 수집이 되네요.
참고로 예전에 운영하는 사이트 게시물이 다음 카페로
실시간 자동 업로드 되고 있다고 제보를 받고 실시간으로
지켜본 경우도 있는데 정말 그게 되더군요.
신고해서 조치는 취했는데 어이가 없더군요.
크롤링 완전 차단은 어렵겠지만
어렵게하는 방법 뭐가 있을까요?
답변 2
이미지 크롤링을 방어하시면,
색인과 SEO에 부정적 영향을 미칠 수 있습니다.
그누보드로 제작되지 않은 타 사이트 대비 너무 협조적(?)으로 되어있는 듯 해서요.
그 사이트들은 seo 에 별 문제 없는 듯 보이고요.
. . . 다른 사이트들이 SEO에 큰 문제가 없어 보이는 이유는,
그 사이트들이 크롤링 방어와 검색 엔진 친화적 설정 간의 균형을 잘 맞추고 있기 때문일 가능성이 높습니다.
. . .
검색 엔진은 이미지를 포함한 페이지 콘텐츠를 기반으로 색인 및 랭킹을 결정합니다.
이미지 크롤링을 차단하면 검색 엔진이 사이트의 이미지를 인식하지 못해 이미지 검색 유입 트래픽 감소는 물론, 페이지 평가 점수에 영향을 줄 수 있습니다.
물론 크롤링 방어는 필요한 경우도 있습니다.
무분별한 크롤링을 방지하거나 불법적으로 콘텐츠를 활용하는 사례를 막기 위해 다음과 같은 방법을 사용할 수 있습니다:
- 검색 엔진 크롤러는 허용하되 일반적인 크롤링 봇만 차단
- Referrer 및 User-Agent 기반 방어로 의심스러운 요청 제한
- 색인과 트래픽을 고려한 하이브리드 방어 기법(동적 이미지 URL 생성) 활용.
이러한 방식으로 크롤링 방어와 SEO 최적화 사이의 균형을 유지할 수 있습니다.
하지만 크롤링 방어를 지나치게 강화하면 SEO에 부정적 영향을 미칠 수 있음을 항상 염두에 두는 것이 중요합니다.
참고하겠습니다. 고맙습니다.
data 폴더 .htaccess 파일 내에 아래 형식으로 Rewrite 설정하세요.
RewriteEngine On
RewriteCond %{HTTP_REFERER} !^https?://(www\.)?도메인\.com [NC]
RewriteRule \.(jpe?g|png|gif)$ - [F]
고맙습니다
