사이트 파싱(스크래핑) 하고 싶다면, python 쓰세요.

· 2017-12-05 (화) 16:33:50 · 2051 · 22

php 파싱 기능은 쓰레기네요. 정규식 없이는(일부 소스에서 dom도 가능하지만, 느린데다가 불편함) 파싱도 제대로 할수 없고,

정규식이 초보자가 쉽게 할수 있는것도 아니고,, 

 

정규식도 쓰지만, 대부분 css selector 방식으로 파싱을 합니다. 

네 맞습니다. jquery 에서 쓰는것처럼요. $("#content > div.main).html(); 형태로 파싱가능

 

파이썬에선 BeautifulSoup 을 쓰고, 자바에선 Jsoup 을 씁니다. 

php에는 이런게 없어요.. 비슷한게 guzzly 있습니다만,  좀 깨진 dom 에선 동작을 안함. 태그 잘못써서 깨진 사이트가 더 많은데.

 

게다가 파이썬에선 아예 스크래핑을 위한 모듈이 있습니다. scrapy  그냥 사이트에서 긁어올 위치만 정하면 알아서 다 긁어와줍니다.

 

php 로 고통받지 말고, python 쓰세요.

|

댓글 22개

스크랩합니다.
좋은 정보 감사드립니다.
그렇긴해도 CURL만 잘 활용하면 되지 않을까요 ㅎ
2017-12-05 (화) 17:05:31
@천사별 조금 복잡하거나 인증 넣어야 하거나, 정규식이 복잡해지는 상황이 되면 괴롭습니다.
2017-12-05 (화) 18:04:09
@천사별 동감
좋은 정보감사합니다.
그동안 nodejs로 해왔는데 파이썬으로도 헤봐야겠네요 ㅎㅎㅎ
2017-12-05 (화) 17:11:31
@terrorboy node 는 제가 안해봐서 어떤걸로 하는지 모르겟지만, npm 은 광활하니까,, 아마 비슷하거나 더 좋은 라이브러리가 있을것 같네요.
@명랑폐인
npm이 최고지요 ㅎㅎ
2017-12-05 (화) 18:44:48
@terrorboy 테러보이님도, 백엔드쪽 작업하시면, 파이썬 배우세요. 데이타 처리 할려면 파이썬, 자바(스칼라) 중에 하나는 써야 돼요. 저도 올해 넘기면 안될것 같아서 해넘기기전에 배우기 시작했습니다.
@명랑폐인
전아직도 파이썬보단 go 를 밀고 있습니다 ㅎㅎㅎㅎ
그나마 쉽다고해서 ㅎㅎㅎㅎ
2017-12-05 (화) 19:04:54
@terrorboy go 랑 python 둘중에서 저는 python 을 선택했네요.. 텐서플로를 써보고 싶어서요.
@명랑폐인 요세보니까 go가 죽어가더라구요 ㅠ.ㅠ
고민중입니다 ㅎㅎㅎ
2017-12-06 (수) 05:10:56
@terrorboy 고가 죽어가나요?
이유가 뭐래요?
@프로그래머7 흠.. 죽어간다기보단 시들어가는 느낌이랄까... 예전에 비해 고관련 언급이라든지 자료가 많이 안보이더라구요
2017-12-06 (수) 09:28:53
@terrorboy 헐 .. 그럼 go는 절대 하지 말아야지 ㅎ
@프로그래머7
그래도 유망언어 이기도 하고 간혹 자료가 올라옵니다!
그리고 프로그램 언어 차트에 아직 상위고 ㅎㅎ

전 책을 사버려서 ㅋㅋㅋㅋㅋ
2017-12-06 (수) 11:53:27
@terrorboy go가 퍼포먼스가 늦다고 해서 망설였습니다 ㅎ
파이썬은 대박 더늦다고 해서 파이썬도 제끼고 있는데.. 남들이 좋다고 하니 ^^
@프로그래머7 아직 안해봐서 모르고 소문으로는 컴파일 속도고 신의 경지라던데..
2017-12-06 (수) 11:55:37
@terrorboy 고가 퍼포먼스가 빠르다고 하나요? 늦다고 들었는뎅 ㅎ
@프로그래머7 둘다 재대로 해본적이 없어서 개인적인 의견이라관 해두겠습니다 ㅎㅎㅎ
2017-12-06 (수) 11:58:12
@terrorboy 감사합니다 ㅎ
@프로그래머7 ㅎㅎㅎ
스크랩 합니다.
댓글을 작성하시려면 로그인이 필요합니다.

자유게시판

202,947건
+
제목 글쓴이 날짜 조회
17-12-05 조회 1,349
17-12-05 조회 1.7만
17-12-05 조회 2,034
17-12-05 조회 1,288
17-12-05 조회 1,325
17-12-05 조회 1,432
17-12-05 조회 2,052
17-12-05 조회 1,252
17-12-05 조회 1,360
17-12-05 조회 1,856
17-12-05 조회 1,330
17-12-05 조회 1,259
17-12-05 조회 1,423
17-12-05 조회 1,268
17-12-05 조회 1,271
17-12-05 조회 1,373
17-12-05 조회 1,212
17-12-05 조회 1,323
17-12-05 조회 1,447
17-12-05 조회 1,309