대규모 데이터 처리 방법에 대해서 문의 드립니다.
본문
안녕하세요.
rs232 통신으로 serial 데이터를 받아서..
그걸 parsing 한 후에 mysql db로 넣는것 연습중입니다.
이제 php로 프로그램은 다 짜놨고.. cron으로 하루정도 데이터를 넣어서 테스트 중입니다.
phpmysql에 접속은 가능하구요..
근데 홈페이지는 안들어 가지네요;;
대략 하루에 많으면 4만건.. 적으면 만건정도 됩니다.
다른 대체 솔루션이 있는건지..
아니면 서버를 분산 배치해서 db 내용을 땡겨와야 하는건지..
고민입니다^^;;
erp 급으로 데이터가 많이 들어오다 보니.. 어찌저찌 해서 다른 대체 솔루션 찾다가 글 남깁니다.
빅데이터.. 대규모 데이터 처리 하시는 노하우가 궁금하네요..
답변 1
로그를 php에서 매번 파싱해서 sql로 넣으시나요?
tcp구조에서 한계에 부딛힐텐데요.
추정컨데 이전세션이 종료되지않은상태가 발생되서 병목현상이 일어나는것처럼 보이네요.
사실 건에대한것 보다는 얼마나 빈번하게 발생하느냐가 관건입니다.(전 하루에 백만~천만단위 핸들링하는데 횟수로 따지면 그리 많지않기에 그냥저냥 쓰고있네요.)
단순 로그라면 굳이 파싱하지말고 nosql이나 하둡으로 가세요.
아래보시고 공부하시면 안목이 조금 넓어질듯 싶습니다.
https://www.slideshare.net/mobile/cybaek/201403
ps.mysql 5.7부터 지원하는 json저장을 사용하셔도 큰덕을 보실수 있습니다.
tcp구조에서 한계에 부딛힐텐데요.
추정컨데 이전세션이 종료되지않은상태가 발생되서 병목현상이 일어나는것처럼 보이네요.
사실 건에대한것 보다는 얼마나 빈번하게 발생하느냐가 관건입니다.(전 하루에 백만~천만단위 핸들링하는데 횟수로 따지면 그리 많지않기에 그냥저냥 쓰고있네요.)
단순 로그라면 굳이 파싱하지말고 nosql이나 하둡으로 가세요.
아래보시고 공부하시면 안목이 조금 넓어질듯 싶습니다.
https://www.slideshare.net/mobile/cybaek/201403
ps.mysql 5.7부터 지원하는 json저장을 사용하셔도 큰덕을 보실수 있습니다.
오.. 감사합니다~! 식견이 넓어 지는 것 같아요~~
답변을 작성하시기 전에 로그인 해주세요.
