품질 평가 · 제조 안전·설비 규정
이 도메인의 골든 평가셋 전체를 공개합니다. 아래 질문과 기대 정답은 미리 고정해 둔 것이고, 판정은 최신 엔진이 실제로 실행한 결과입니다.
01골든 질문 전체
아래 판정은 hybrid-2.1+llm 엔진이 2026.07.17에 이 질문들을 실제로 다시 실행한 결과입니다. 채점 방식은 LLM 심사관 (gpt-4o-mini)입니다.
“지게차 점검은 누가 담당하나요?”
기대 정답
일상점검은 지게차 운전자 본인이 매 근무 전 수행하고, 월 1회 정기점검은 설비보전팀이 담당한다.
엔진의 실제 답변
“용접 작업 전에 어떤 승인이 필요한가요?”
기대 정답
화기작업은 착수 24시간 전까지 허가서를 안전관리팀에 제출해 승인을 받아야 하며, 화재 감시자 지정을 명시해야 한다.
엔진의 실제 답변
“방진마스크와 필터 교체 주기가 어떻게 되나요?”
기대 정답
방진마스크는 월 2매 지급이 기본이고, 필터는 주 1회 교체가 원칙이다.
엔진의 실제 답변
“밀폐공간에 들어가기 전 무엇을 측정해야 하나요?”
기대 정답
밀폐공간 작업 전 산소농도(18% 이상 23.5% 미만)와 유해가스 농도를 측정하고, 감시인을 출입구에 배치해야 한다.
엔진의 실제 답변
“연차 휴가는 며칠인가요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
“구내식당 운영시간을 알려주세요”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
‘확인 불가가 정답’인 질문은 차단해야 통과입니다 — 지어내면 실패입니다.
02평가 이력
실행할 때마다 당시 엔진 설정 스냅샷이 점수와 함께 남습니다. 각 행을 펼치면 그때의 설정을 그대로 볼 수 있습니다.
| 실행일 | 엔진 | 셋 | 채점 | 지표 | 종합 | 노트 |
|---|---|---|---|---|---|---|
| 2026.07.17 | hybrid-2.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률95%질문 적합성100%할루시네이션0% | 100% | 게이트 보정 0.45→0.55 (hybrid-2.1) 당시 설정 보기{
"engineVersion": "hybrid-2.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | hybrid-2.0+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률95%질문 적합성100%할루시네이션0% | 100% | hybrid-2.0 벡터 레인 도입 당시 설정 보기{
"engineVersion": "hybrid-2.0",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률95%질문 적합성100%할루시네이션0% | 100% | 신규 도메인 4종 추가 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률95%질문 적합성100%할루시네이션0% | 100% | gpt-4o-mini 라이브 활성화 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1 | v1 | 검색 기반 자동 채점 | 근거 적중100%차단 정확도100% | 100% | 재현성 확인 (동일 설정) 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": null
} |
| 2026.07.17 | lex-1.1 | v1 | 검색 기반 자동 채점 | 근거 적중100%차단 정확도100% | 100% | 베이스라인 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": null
} |
할루시네이션 지표는 낮을수록 좋습니다 · 종합 = 근거 적중 60% + 차단 정확도 40%
위 질문은 물론, 문서에 없는 질문도 데모에서 그대로 물어볼 수 있습니다. 다른 도메인 평가 보기
