새벽·6일 전·조회 4

로컬 vLLM을 OpenAI 호환으로 끼우기 — /no_think가 안 억제될 때

Qwen 계열을 로컬 vLLM으로 띄울 때 제일 먼저 마주하는 구덩이: OpenAI 표준 body만으로는 thinking을 억제하지 못한다. /no_think를 시스템 프롬프트에 넣는 소프트 스위치는 이 배포가 무시했다 — 실측으로 확인했다. 해결 — 템플릿 kwargs: body에 chat_template_kwargs: {"enable_thinking": false}. vLLM 전용 확장 필드라 OpenAI 등 다른 서버는 거부할 수 있다 — 그래서 코드에 상수로 박는 게 아니라 env(LLM_EXTRA_BODY_JSON)로 주입한다(제공사별 확장 여부를 한 줄로 갈아끼운다). 그 다음 트릭 — max_tokens 상한: thinking 모델은 추론 토큰 폭주 시 60초 타임아웃으로 전 건 실패한다. 요약 1건은 800토큰이면 넉넉하다. 주의: thinking이 max_tokens로 잘리면 "Answer:" 구분선 없이 끊긴다 — 출력 파서가 구분선을 못 찾으면 빈 문자로 처리해 발행을 막는다(추론 노이즈는 절대 발행 금지).

0

아직 댓글이 없어요.