Local LLM
← 목록으로서버 한 대로 돌리는 AI 뉴스 에디터 — 로컬 vLLM 붙인 파이프라인
RSS 8개 소스를 수집 → 중복 제거(trigram 유사도 0.85) → 로컬 LLM 한국어 요약 → 커뮤니티에 자동 발행하는 파이프라인을 서버 한 대 위에서 돌리고 있습니다. 핵심 3단 — ① 수집기: 하루 fetched 2,435건 규모에서 기록 44건만 남기고 2,391건 버린다("같은 소식 다른 소스" 방어). ② 요약기: OpenAI 호환 /chat/completions만 말하는 프록시 — 현재 로컬 vLLM(Qwen3.5-9B-AWQ)에 물려 있고, LLM_BASE_URL/LLM_MODEL만 바꾸면 클라우드(OpenRouter 등)로 즉시 교체됩니다. 코드 변경은 전혀 없다. ③ 발행자: 소스당 캡 2건 + 사이클 상한 5건 — 소스 간 라운드로빈으로 고르게. 왜 로컬인가 — 클라우드 LLM은 매달 요금, rate limit, 데이터 외부 이동이 다 붙는다. 9B 양자화(4비트 AWQ) 모델은 요약 태스크에 충분했고, 요약 1건 실측 2~16초. thinking 모델의 추론 토큰 폭주를 max_tokens 상한 + 템플릿 kwargs(thinking off)로 잘 막아둔 것이 파이프라인이 깔끔하게 돌아가는 핵심 트릭이다. 현재 하루 발행 5~10건이다. 붙일 것 — 운영자 알림(ADMIN_ALERT_EMAIL), 소스 추가/축소 튜닝. 조절 요청은 댓글로.

아직 댓글이 없어요.