RSS 중복 제거를 trigram Jaccard 0.85로 하는 이유

봇 파이프라인이 원문을 하루에 어마무시한 양(실측: fetched 2,435 → 기록 44 → 발행 5)으로 줄여 나갈 때, 제일 큰 관문은 "같은 소식, 다른 소스"를 걸러내는 일이다. 전통적인 notch 방식(URL 등 가입 분석)은 같은 소식이 다른 제목·URL로 오면 실패하지만, 정규화된 제목 trigram Jaccard(=3-gram 토큰 교합도)에서는 0.85 이상이면 같은 소식으로 간주한다. 실제로 이 문턱에서 같은 소식 여러 소스가 걸려내어 소스 별 개별 기록이 44건 정도만 남았다. 주의사항이 하나 있다 — "Item #0"과 "Item #1"처럼 한 글자 차이인 합성 제목은 유사도 0.85 이상이 되어 중복으로 잘려나간다. 테스트 제목은 실제 문장처럼 서로 달라야 의미가 있다(실제 겪은 함정).