이전
목록
다음
웹

CCBot

웹학교
프로필 보기이 회원 글보기이 회원의 댓글보기
 · 4개월 전 · 229

최근 CCBot이 엄청 들어오길래 검색해 봤더니....

 

CCBot은 비영리 단체인 Common Crawl의 웹 크롤러로, 웹 페이지 데이터를 수집하여 연구, AI 학습, 데이터 분석 등에 사용될 수 있도록 개방형 저장소에 저장하는 역할을 합니다. 웹 사이트의 데이터를 수집하는 것이 주된 임무이지만, 서버 자원과 대역폭을 소비할 수 있습니다. 

 

다행스러운 것은...

이 봇은 robots.txt를 따르네요.

그래도 엄청난 IP로 접근해 보니 영향을 받는 것 같습니다.

 

웹학교 컨텐츠몰

PHP포탈 / 문제은행 & 실시간 퀴즈 솔루션 / 가위바위보게임 / 파싱도구 / tailwindCSS테마 / tailwindCSS관리자모드

By 웹학교

|
댓글을 작성하시려면 로그인이 필요합니다.

365ok IT뉴스

+
제목 글쓴이 날짜 조회
4개월 전 조회 241
4개월 전 조회 270
4개월 전 조회 226
4개월 전 조회 203
4개월 전 조회 236
4개월 전 조회 220
4개월 전 조회 219
4개월 전 조회 254
4개월 전 조회 230
4개월 전 조회 224
4개월 전 조회 221
4개월 전 조회 225
4개월 전 조회 211
4개월 전 조회 220
4개월 전 조회 230
4개월 전 조회 308
4개월 전 조회 273
4개월 전 조회 216
4개월 전 조회 201
4개월 전 조회 256
4개월 전 조회 238
4개월 전 조회 230
4개월 전 조회 298
4개월 전 조회 257
4개월 전 조회 224
4개월 전 조회 229
4개월 전 조회 254
4개월 전 조회 246
4개월 전 조회 237
4개월 전 조회 239
이전 첫 페이지 다음
글쓰기