품질 평가 · 의료기관 내부 규정
이 도메인의 골든 평가셋 전체를 공개합니다. 아래 질문과 기대 정답은 미리 고정해 둔 것이고, 판정은 최신 엔진이 실제로 실행한 결과입니다.
01골든 질문 전체
아래 판정은 hybrid-2.1+llm 엔진이 2026.07.17에 이 질문들을 실제로 다시 실행한 결과입니다. 채점 방식은 LLM 심사관 (gpt-4o-mini)입니다.
“격리 환자를 접촉하기 전 손위생은 어떻게 하나요?”
기대 정답
손소독은 알코올 젤로 20~30초간 수행하고, 다제내성균 환자는 접촉주의를 적용해 1인실 격리를 원칙으로 한다.
엔진의 실제 답변
“투약 오류를 발견하면 어떻게 해야 하나요?”
기대 정답
24시간 이내에 환자안전 보고시스템에 보고하며, 근접오류도 보고 대상이고 보고자는 비처벌 원칙의 보호를 받는다.
엔진의 실제 답변
“환자 진료기록을 열람할 수 있는 사람은 누구인가요?”
기대 정답
진료기록 열람 권한은 진료에 참여하는 의료진에게만 부여되며, 제3자 열람은 서면 동의서가 있어야 가능하다.
엔진의 실제 답변
“야간 응급 콜은 10분 안에 응답해야 하나요?”
기대 정답
야간 당직 전문의는 응급 콜에 10분 이내 응답하고, 필요 시 30분 이내에 현장에 도착해야 한다.
엔진의 실제 답변
“장례식장 이용 요금은 얼마인가요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
“건강검진 예약은 어떻게 하나요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
‘확인 불가가 정답’인 질문은 차단해야 통과입니다 — 지어내면 실패입니다.
02평가 이력
실행할 때마다 당시 엔진 설정 스냅샷이 점수와 함께 남습니다. 각 행을 펼치면 그때의 설정을 그대로 볼 수 있습니다.
| 실행일 | 엔진 | 셋 | 채점 | 지표 | 종합 | 노트 |
|---|---|---|---|---|---|---|
| 2026.07.17 | hybrid-2.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성98%정답률95%질문 적합성100%할루시네이션0% | 100% | 게이트 보정 0.45→0.55 (hybrid-2.1) 당시 설정 보기{
"engineVersion": "hybrid-2.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | hybrid-2.0+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성98%정답률95%질문 적합성100%할루시네이션0% | 100% | hybrid-2.0 벡터 레인 도입 당시 설정 보기{
"engineVersion": "hybrid-2.0",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률88%질문 적합성100%할루시네이션0% | 100% | 신규 도메인 4종 추가 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률100%질문 적합성100%할루시네이션0% | 100% | gpt-4o-mini 라이브 활성화 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1 | v1 | 검색 기반 자동 채점 | 근거 적중100%차단 정확도100% | 100% | 재현성 확인 (동일 설정) 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": null
} |
| 2026.07.17 | lex-1.1 | v1 | 검색 기반 자동 채점 | 근거 적중100%차단 정확도100% | 100% | 베이스라인 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": null
} |
할루시네이션 지표는 낮을수록 좋습니다 · 종합 = 근거 적중 60% + 차단 정확도 40%
위 질문은 물론, 문서에 없는 질문도 데모에서 그대로 물어볼 수 있습니다. 다른 도메인 평가 보기
