리자

스팸글 방지에 대한 고찰

· 2011-02-23 (수) 09:47:07 · 2204 · 3

요즘들어 스팸글이 난무하고 있다.
내가 보기에 스팸은 경기에 민감하다.
경기가 좋으면 스팸은 자취를 감추고, 경기가 나쁘면 스팸은 기승을 부린다.
스팸이 난무하고 있다. 그렇다면 지금의 경기는?

암튼 경기가 좋건 나쁘건 우리들은 열심히 코드를 생산해 내야하는게 임무(?) 아니겠는가?
나는 오늘도 열심히(?) 삽질을 한다.

스팸을 완전히 차단하기 위해 나는 MYSQL 의 FULLTEXT 를 사용해 보기로 했다.
http://dev.mysql.com/doc/refman/5.0/en/fulltext-natural-language.html

mysql> SELECT id, body, MATCH (title,body) AGAINST
    -> ('Security implications of running MySQL as root') AS score
    -> FROM articles WHERE MATCH (title,body) AGAINST
    -> ('Security implications of running MySQL as root');
+----+-------------------------------------+-----------------+
| id | body                                | score           |
+----+-------------------------------------+-----------------+
|  4 | 1. Never run mysqld as root. 2. ... | 1.5219271183014 |
|  6 | When configured properly, MySQL ... | 1.3114095926285 |
+----+-------------------------------------+-----------------+
2 rows in set (0.00 sec)

내용에 들어있는 자료를 검색하여 산포도를 따져 점수가 높은 것은 아예 글 등록이 되지 않도록 하는 것이다.

1. 게시글이 등록된다. 스팸글인지는 모른다.
2. 회원들이 스팸글로 신고를 한다.
3. 신고시 스팸 테이블에 해당 내용을 저장한다.
4. 다시 유사한 게시물이 등록된다.
5. 스팸 테이블에서 산포도를 검사하여 점수가 높다면 글 등록을 거부한다.

대충 이런 방법으로 구현하고자 했는데 산포도가 내가 생각하는 것처럼 나타나지 않아 포기한다. ㅜㅜ

필터링 이외에는 방법이 없는것인가?

|

댓글 3개

2011-02-23 (수) 10:48:48
1. 메일 스팸을 처리하는것과 같이 공통 모듈을 실시간으로 업데이트 하는 방법
2. 블랙 IP 공유, 실시간 업데이트
3. 실시간으로 삭제.. 게시판 운영자 지정(신고글에 대해서 게시판 운영자 삭제권한 제공)
4. 스팸공동센터 운영, 센터 차원에서 스패머에 대한 법적 조치
2011-02-23 (수) 14:40:35
captcha 로 막지 못하는 근본적 이유.
==> 사람이 직접 입력하면 됨.
인건비가 싼 아프리카 지역에 아르바이트 사이트를 개설하여, 캡차 인식 1건당 0.1원으로 인건비를 지급해도 할사람 많음.(하루 천원으로 1만개 등록 가능, 높게 잡아서 1원으로 해도 만원이면 1만개 등록)
(알바는 게시물 등록이 아니라, 캡차 이미지에 해당하는 문자만 입력하면 됨.)

알바 <---> 캡차이미지 사이트 <---> 등록기 로봇 <---> 캡차가 적용된 웹사이트
1. 등록기 로봇이 이미지만 추출하여 캡차이미지 사이트에 등록
2. 알바는 캡자 이미지 사이트 리스트에 등록된 이미지를 보고 문자값을 입력
(아마 한번에 10-100개 동시입력하겠죠)
3. 로봇은 캡차이미지사이트에 입력값을 확인하여, 캡차 적용된 사이트에 값을 입력하여 무력화 시킴

외국엔 이렇게 운영하는 사이트를 본적이 있음.(국내는 잘 모르겠음)

해결책.
- 사람이 벌인일은 사람이 해결하도록 해야함.. 1,2,3,4번 방법들은 모두 사람이 개입해야만 합니다.
제가 생각한 것은 스팸 DB를 만들어 비슷한 내용의 스팸글이 올라오면 사람이 올리는 경우라도 등록을 거부하는 것이었습니다.
MYSQL 의 FULLTEXT 산포도는 영문에서는 지원이 되는것 같은데 한글에서는 영 성능이 좋지 않네요.
저희 사이트에서 비회원의 글쓰기를 열어 놓았는데 전부 사람이 캡챠를 입력하고 글을 썼더라구요.
현재로서는 회원가입 이외에 뾰족한 방법이 없습니다.
댓글을 작성하시려면 로그인이 필요합니다.

프로그램

8,188건
+
제목 글쓴이 날짜 조회
11-10-25 조회 2,459
11-10-18 조회 3,983
11-10-18 조회 2,355
11-10-15 조회 3,556
11-10-10 조회 2,630
11-10-02 조회 2,553
11-09-28 조회 2,371
11-09-24 조회 2,452
11-09-22 조회 2,355
11-09-05 조회 2,841
11-08-31 조회 2,211
11-08-31 조회 2,513
11-08-31 조회 2,369
11-08-29 조회 2,933
11-08-28 조회 2,414
11-08-25 조회 2,465
11-08-17 조회 2,202
11-08-16 조회 2,415
11-08-11 조회 2,880
11-08-07 조회 2,581
11-08-03 조회 2,303
11-07-22 조회 2,052
11-07-12 조회 3,266
11-06-27 조회 2,060
11-06-01 조회 1,731
11-05-17 조회 2,509
11-05-01 조회 2,579
11-04-28 조회 2,864
11-04-28 조회 2,912
11-04-13 조회 2,568
11-03-27 조회 2,693
11-03-27 조회 2,577
11-03-14 조회 1,989
11-03-02 조회 2,310
11-03-02 조회 2,547
11-02-27 조회 2,977
11-02-23 조회 2,352
11-02-19 조회 2,498
11-02-14 조회 4,115
11-02-03 조회 2,907
11-01-24 조회 3,850
11-01-04 조회 2,377
10-12-08 조회 5,380
10-11-15 조회 2,380
10-11-14 조회 2,555
10-11-14 조회 3,583
10-10-29 조회 3,661
10-10-19 조회 2,674
10-10-07 조회 2,503
10-10-05 조회 4,406
10-09-18 조회 2,707
10-09-18 조회 2,463
10-09-17 조회 4,848
10-09-15 조회 2,796
10-09-15 조회 2,326
10-09-15 조회 2,792
10-09-15 조회 2,636
10-09-11 조회 3,961
10-09-11 조회 2,475
10-09-11 조회 2,505
10-09-07 조회 3,781
10-09-07 조회 3,322
10-08-29 조회 2,777
10-07-01 조회 3,035
10-06-30 조회 2,434
10-06-30 조회 2,619
10-06-30 조회 2,974
10-06-13 조회 2,000
10-04-15 조회 3,169
10-04-04 조회 3,394
10-02-23 조회 3,489
10-02-09 조회 3,113
10-01-25 조회 2,609
10-01-25 조회 2,710
09-12-27 조회 4,362
09-11-23 조회 3,577
09-11-20 조회 4,819
09-08-30 조회 3,017
09-08-30 조회 3,014
09-08-12 조회 2,964
09-07-22 조회 4,039
09-07-22 조회 4,687
09-07-15 조회 5,859
09-07-11 조회 2,932
09-06-17 조회 2,681
09-06-15 조회 2,964
09-05-29 조회 3,236
09-05-11 조회 5,877
09-05-08 조회 2,626
09-04-30 조회 3,749
09-04-17 조회 3,065
09-04-04 조회 3,245
09-03-05 조회 3,627
09-02-09 조회 3,607
09-02-03 조회 6,105
08-12-27 조회 3,178
08-12-20 조회 4,271
08-11-21 조회 5,228
08-11-14 조회 2,801
08-11-03 조회 3,252