크롤링 지연시간 문제 질문드립니다.

크롤링 지연시간 문제 질문드립니다.

QA

크롤링 지연시간 문제 질문드립니다.

본문

다름이 아니라 제가 암호화페 거래소 "업비트"의 공지사항을 크롤링해서 가져오고 새로운 공지사항이 올라 왔을 때 알림을 발생하는 어플리케이션을 운용중에 있습니다.

정보가 곧 돈인 시장인 만큼 속도가 매우 중요한데 다른 알림 서비스 대비 1분 미만의 지연시간이 있어 원인을 해결해보려고 많은 노력을 해보았으나.. 물어볼 곳도 마땅히 없어 1년 동안 해결하지 못하고 있습니다.

대표적인 python이아닌 nodejs를 이용하여 크롤링 중입니다.

IP가 차단당하거나 캡챠가 뜨거나 하는 상태는 아닙니다 그저 1분 미만의 지연시간이 있습니다.

아래 URL이 지연 시간이 발생하는 URL입니다.
https://project-team.upbit.com/api/v1/disclosure?region=kr&per_page=5

해결하기위해 다양한 노력을 해보았지만 실패하였습니다 ㅜㅜ
1. header에 캐싱 옵션 넣기
headers: {
'Cache-Control': 'private,no-cache, no-store, must-revalidate,max-age=0,s-maxage=0,min-fresh=0 ,proxy-revalidate, max-stale=0, post-check=0, pre-check=0',
'Pragma': 'no-cache',
'Expires': '-1'
}

2. url 파라미터에 매요청마다 시간값 넣기
https://project-team.upbit.com/api/v1/disclosure?region=kr&per_page=5×tamp=1234

문제가 무엇일까요.. 크롤링 고수님 있으신가요.. 해결해주시면 돈이나 선물 드리겠습니다

이 질문에 댓글 쓰기 :

답변 3

1분 미만의 지연시간이라는 것이

리퀘스트와 레스폰스 사이에 1분이 걸린다는건지

바로 받기는 하는데 데이터가 1분 전 데이터라는 말인지 알 수 없네요.

 

후자라면 그건 업비트에서 실시간 전의 데이터를 던져 주기 때문에

어쩔 수 없는 사항으로 보입니다.

 

 

답변을 작성하시기 전에 로그인 해주세요.
전체 95
QA 내용 검색

회원로그인

(주)에스아이알소프트 / 대표:홍석명 / (06211) 서울특별시 강남구 역삼동 707-34 한신인터밸리24 서관 1404호 / E-Mail: admin@sir.kr
사업자등록번호: 217-81-36347 / 통신판매업신고번호:2014-서울강남-02098호 / 개인정보보호책임자:김민섭(minsup@sir.kr)
© SIRSOFT