품질 평가 · 금융 내부통제·컴플라이언스
이 도메인의 골든 평가셋 전체를 공개합니다. 아래 질문과 기대 정답은 미리 고정해 둔 것이고, 판정은 최신 엔진이 실제로 실행한 결과입니다.
01골든 질문 전체
아래 판정은 hybrid-2.1+llm 엔진이 2026.07.17에 이 질문들을 실제로 다시 실행한 결과입니다. 채점 방식은 LLM 심사관 (gpt-4o-mini)입니다.
“금융상품 설명 후 핵심설명서는 어떻게 교부하나요?”
기대 정답
판매직원은 설명의무에 따라 핵심설명서를 교부하고 설명 확인 서명을 받으며, 일반금융소비자는 14일 이내에 청약 철회가 가능하다.
엔진의 실제 답변
“의심거래보고 STR은 언제까지 완료해야 하나요?”
기대 정답
보고책임자는 의심거래로 판단되면 3영업일 이내에 STR 보고를 완료하며, 보고 사실의 누설은 금지된다.
엔진의 실제 답변
“임직원이 주식을 매수하면 얼마나 보유해야 하나요?”
기대 정답
임직원은 매수한 상품을 최소 30일 이상 보유해야 하고, 분기별 매매 내역을 준법감시부서에 제출한다.
엔진의 실제 답변
“개인신용정보는 거래 종료 후 몇 년간 보관하나요?”
기대 정답
개인신용정보는 거래 종료 후 3개월 이내에 분리 보관으로 이관하고, 5년까지 보관한 뒤 파기한다.
엔진의 실제 답변
“주택담보대출 금리는 얼마인가요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
“지점 영업시간은 어떻게 되나요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
‘확인 불가가 정답’인 질문은 차단해야 통과입니다 — 지어내면 실패입니다.
02평가 이력
실행할 때마다 당시 엔진 설정 스냅샷이 점수와 함께 남습니다. 각 행을 펼치면 그때의 설정을 그대로 볼 수 있습니다.
| 실행일 | 엔진 | 셋 | 채점 | 지표 | 종합 | 노트 |
|---|---|---|---|---|---|---|
| 2026.07.17 | hybrid-2.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성98%정답률93%질문 적합성100%할루시네이션0% | 100% | 게이트 보정 0.45→0.55 (hybrid-2.1) 당시 설정 보기{
"engineVersion": "hybrid-2.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | hybrid-2.0+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성95%정답률90%질문 적합성100%할루시네이션0% | 100% | hybrid-2.0 벡터 레인 도입 당시 설정 보기{
"engineVersion": "hybrid-2.0",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성95%정답률83%질문 적합성100%할루시네이션0% | 100% | 신규 도메인 4종 추가 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": "gpt-4o-mini"
} |
할루시네이션 지표는 낮을수록 좋습니다 · 종합 = 근거 적중 60% + 차단 정확도 40%
위 질문은 물론, 문서에 없는 질문도 데모에서 그대로 물어볼 수 있습니다. 다른 도메인 평가 보기
