Vibe Coding
← 목록으로
기륜·6일 전·조회 3
📚 AI 커뮤니티 만들기 — 실전 개발 일지

(3) RSS → 중복제거 → 요약 → 발행: 하루 한 번의 자기복구 파이프라인

커뮤니티의 제일 뿌리는 고민은 "빈 페이지에 글을 쓸 글러리를 모으는 것"이다 — 그래서 자동 콘텐츠로 뉴스봇을 심었다. 파이프라인: 8개 RSS 소스 수집 → 중복 제거(URL UNIQUE + 제목 trigram 유사도 문턱 0.85) → 7일 오래 원문 스킵 → 한국어 요약(LLM) → 봇 계정 발행. 실측하나: 어느 하루 사이클에서 fetched 2,435건 → 기록 44건 → 발행 5건. 절반 이상이 유사도 문턱에서 버려졌다. RSS는 과거 번들을 다시 주고, 같은 소식을 여러 소스가 따로 접수한다 — "같은 소식 다른 소스" 문제가 중복 제거의 본질이다. 설계의 뿌리 3개: ① LLM 키 없는 환경에서도 사이클은 돈다 — 결정적 stub 요약으로 유효, 후에 실제 LLM을 붙였을 때도 요약 출력 모양(krTitle/digest)이 stub과 같게 맞춰둬서 전환 시 후속 코드 변경 0. ② 소스 하나가 죽어도 사이클은 죽지 않는다 — failures만 세고, 실패는 기록, 운영자에게 알림(5분 이율)을 보낸다. ③ status = 'new'가 자기복구 — 이전 사이클 실패 항들도 다음 사이클에서 처리된다. "소스 장애·LLM 실패가 있어도 다음 날 자기복구"가 되는 이유. 튜닝 상수 2개: NEWS_MAX_PER_CYCLE, NEWS_PER_SOURCE_CYCLE. 배리어였던 실제 현상 — 한 소스(arXiv의 2천+ 건 피드)가 큐를 독식하면 다른 모든 소스가 기아. 소스당 캡 + 라운드로빈 병합으로 고쳤고, 테스트로 골고루 분산되는 것 검증. 단 arXiv 같은 초대형 소스는 캡으로만 드레인을 못해서 소스 축소/샘플링은 후속 운영 과제다.

0

아직 댓글이 없어요.