2026, 새로운 도약을 시작합니다.
SIR
목록으로
이전글 다음글

구글 크롤링 채택완료

윤대진
프로필 보기이 회원 글보기이 회원의 댓글보기
 1년 전 조회 1,527
답변 3
목록 
robots.txt
에서 


User-agent: *
Allow: /


User-agent: *
Disallow: /ssadm

윗부분 내용이 뭔지 아시는분 ? 
 

#그누보드5 #robots.txt

답변 3개

채택된 답변
+20 포인트

* : 모든 크롤러

Allow /  ;  root만 허용

"""
User-agent: *

Disallow: /ssadm
""" 이는 모든 크롤러에 대해,  "/ssadm"는 제한.

※  님이 제시하신 코드는 작동에 문제가 있음 (코드 순서)

Copy 


User-agent: *

Disallow: /ssadm

Allow: /
로그인 후 평가할 수 있습니다

답변에 대한 댓글 8개

전체 허용 이후 해당 폴더만 차단

해당 폴더 차단 이후 전체 허용 글쎄요 ... 다른 규칙은 모르겠지만, 이건 크게 개의치 않을 것 같은데요?
아 이렇게 변경 해야할까요??
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
아 이렇게 변경 해야할까요??
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
아 이렇게 변경 해야할까요??
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여
이렇게 변경하는게 좋을까요‘ㅠ
@미니님a
문제가 되어 보이기도 하군요 ㅠ ㅠ
@윤대진
민감한 디렉토리의 존재 자체를 노출하지 않으려면,
/ssadm 디렉토리를 robots.txt에서 언급하지 않는 것이 더 안전하긴 한데~

> 웹 서버에서 접근을 차단하거나 인증을 요구하도록 설정하세요~

"""/""" 추가[code]
User-agent: *
Disallow: /ssadm/
Allow: /
[/code]

> 현재 설정으로 검색 엔진이 설정해논 대로 작동하리란 보장이 없어요.
(- 법적인 강제성은 없어, 크롤러 내키는 대로~~ -)
민감 데이터가 포함된 디렉토리라면
서버 수준에서 추가적인 보안 조치를 취하실 것을 권장합니다.
User-agent: *
Allow: /


User-agent: *
Disallow: /ssadm


현재 이렇게 설정이 되어 있는데,
이걸 전부 지우고

User-agent: *
Disallow: /ssadm
Allow: /

이렇게 변경하는 것이 좋으시단 말씀이시죵?

"""/""" 추가 <--- 이건뭔가요 ?
@윤대진
현재 설정으로 검색 엔진이 설정해논 대로 작동하리란 보장이 없어요.
(- 법적인 강제성은 없어, 크롤러 내키는 대로~~ -)
민감한 데이터가 포함된 디렉토리라면
서버 수준에서 추가적인 보안 조치를 취하실 것을 권장합니다.

꼭, 쓰셔야한다면 아래처럼 쓰세요.[code]
User-agent: *
Disallow: /ssadm/
Allow: /
[/code]

댓글을 작성하려면 로그인이 필요합니다.

문제 해결 하셨나요? 그누보드 adm폴더는 따로 설정을 안해도 포털사이트에서 크롤링을 못해가던데 ..

로그인 후 평가할 수 있습니다

댓글을 작성하려면 로그인이 필요합니다.

user-agent : * > 모든 검색 엔진에게 적용하겠다!!

Disallow : /ssadm 관리자 폴더는 접근하지마라!!! 라는 뜻입니다.

로그인 후 평가할 수 있습니다

답변에 대한 댓글 1개

아 이렇게 변경 해야할까요??
구글 4xx
크롤링 실패 오류인데
ㅠㅠ 도와주세여

댓글을 작성하려면 로그인이 필요합니다.

답변을 작성하려면 로그인이 필요합니다.

로그인
🐛 버그신고