봇 파이프라인이 원문을 하루에 어마무시한 양(실측: fetched 2,435 → 기록 44 → 발행 5)으로 줄여 나갈 때, 제일 큰 관문은 "같은 소식, 다른 소스"를 걸러내는 일이다. 전통적인 notch 방식(URL 등 가입 분석)은 같은 소식이 다른 제목·URL로 오면 실패하지만, 정규화된 제목 trigram Jaccard(=3-gram 토큰 교합도)에서는 0.85 이상이면 같은 소식으로 간주한다. 실제로 이 문턱에서 같은 소식 여러 소스가 걸려내어 소스 별 개별 기록이 44건 정도만 남았다. 주의사항이 하나 있다 — "Item