품질 평가 · 법무·계약 표준
이 도메인의 골든 평가셋 전체를 공개합니다. 아래 질문과 기대 정답은 미리 고정해 둔 것이고, 판정은 최신 엔진이 실제로 실행한 결과입니다.
01골든 질문 전체
아래 판정은 hybrid-2.1+llm 엔진이 2026.07.17에 이 질문들을 실제로 다시 실행한 결과입니다. 채점 방식은 LLM 심사관 (gpt-4o-mini)입니다.
“NDA 비밀유지 기간은 몇 년으로 정하나요?”
기대 정답
NDA 비밀유지 기간은 계약 종료 후 3년이 표준이고, 기술정보 등 핵심 기술자료는 5년을 적용한다.
엔진의 실제 답변
“손해배상 책임의 상한은 어떻게 설정하나요?”
기대 정답
손해배상 총액의 상한은 계약금액의 100%가 표준이며, 고의·중과실 등은 상한 적용에서 제외된다.
엔진의 실제 답변
“프로젝트 산출물의 지식재산권은 누구에게 귀속되나요?”
기대 정답
산출물의 지식재산권은 대금 완납 시 발주자에게 귀속되고, 백그라운드 IP는 수급인에게 유보된다.
엔진의 실제 답변
“계약 해지 통지는 며칠 전에 해야 하나요?”
기대 정답
해지는 30일 전 서면 통지가 표준이며, 상대방에게 14일의 시정 기회를 부여한다.
엔진의 실제 답변
“법인세 중간예납은 언제 하나요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
“회사 창립기념일 휴무는 언제인가요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
‘확인 불가가 정답’인 질문은 차단해야 통과입니다 — 지어내면 실패입니다.
02평가 이력
실행할 때마다 당시 엔진 설정 스냅샷이 점수와 함께 남습니다. 각 행을 펼치면 그때의 설정을 그대로 볼 수 있습니다.
| 실행일 | 엔진 | 셋 | 채점 | 지표 | 종합 | 노트 |
|---|---|---|---|---|---|---|
| 2026.07.17 | hybrid-2.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률100%질문 적합성100%할루시네이션0% | 100% | 게이트 보정 0.45→0.55 (hybrid-2.1) 당시 설정 보기{
"engineVersion": "hybrid-2.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | hybrid-2.0+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률100%질문 적합성100%할루시네이션0% | 100% | hybrid-2.0 벡터 레인 도입 당시 설정 보기{
"engineVersion": "hybrid-2.0",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성98%정답률95%질문 적합성100%할루시네이션0% | 100% | 신규 도메인 4종 추가 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성98%정답률95%질문 적합성100%할루시네이션0% | 100% | gpt-4o-mini 라이브 활성화 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1 | v1 | 검색 기반 자동 채점 | 근거 적중100%차단 정확도100% | 100% | 재현성 확인 (동일 설정) 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": null
} |
| 2026.07.17 | lex-1.1 | v1 | 검색 기반 자동 채점 | 근거 적중100%차단 정확도100% | 100% | 베이스라인 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": null
} |
할루시네이션 지표는 낮을수록 좋습니다 · 종합 = 근거 적중 60% + 차단 정확도 40%
위 질문은 물론, 문서에 없는 질문도 데모에서 그대로 물어볼 수 있습니다. 다른 도메인 평가 보기
