임상 RAG 시스템 평가를 위한 근거 인식 평가 프로토콜

유방 병변 관리 문헌에 대한 근거 인식 검색 평가 프로토콜을 제안하며, 정답 데이터의 범위가 검색 점수에 미치는 영향을 분석하였다. 18개 문서와 18개 질의로 구성된 벤치마크를 사용하여 밀집 임베딩, BM25, 크로스 인코더 재순위화를 결합한 검색을 평가한 결과, 384토큰 청크와 20% 오버랩을 사용한 하이브리드 검색기가 상위 3개 결과에서 17개 질의에 대해 수용된 근거를 검색하였다. 정답 데이터를 확장함으로써 인식된 근거는 증가했으나 순위 변화는 없어, 주석 범위에 대한 민감성이 확인되었으며, 독립적인 검증과 방사선 전문의의 평가가 필요함을 시사하였다. 원문: