품질 평가 · 산업용 제품 카탈로그
이 도메인의 골든 평가셋 전체를 공개합니다. 아래 질문과 기대 정답은 미리 고정해 둔 것이고, 판정은 최신 엔진이 실제로 실행한 결과입니다.
01골든 질문 전체
아래 판정은 hybrid-2.1+llm 엔진이 2026.07.17에 이 질문들을 실제로 다시 실행한 결과입니다. 채점 방식은 LLM 심사관 (gpt-4o-mini)입니다.
“HV-200 펌프로 해수를 이송해도 되나요?”
기대 정답
HV-200 원심펌프는 청수·해수·저점도 화학용액 이송용으로 적합하며, 슬러리·고점도 유체에는 사용할 수 없다.
엔진의 실제 답변
“내압 20bar 환경에서는 어떤 호스를 써야 하나요?”
기대 정답
20bar 이상 환경에서는 내압 25bar의 FH-25 또는 40bar의 FH-40 고압호스를 사용해야 하며, 표준형 SH 시리즈는 금지다.
엔진의 실제 답변
“GX-22 모터에 맞는 감속기는 무엇인가요?”
기대 정답
GX-22 기어드모터에는 RD-2M 감속기(감속비 1/10~1/60)를 사용하며, GX 시리즈는 RD-2 시리즈와 직결 호환된다.
엔진의 실제 답변
“펌프 베어링 그리스는 언제 보충하나요?”
기대 정답
가동 2,000시간 또는 6개월 중 먼저 도래하는 시점에 베어링 그리스를 보충하고, 500시간마다 메커니컬 씰을 점검한다.
엔진의 실제 답변
“제품 해외 배송 기간은 얼마나 걸리나요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
“대리점 할인율은 어떻게 되나요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
‘확인 불가가 정답’인 질문은 차단해야 통과입니다 — 지어내면 실패입니다.
02평가 이력
실행할 때마다 당시 엔진 설정 스냅샷이 점수와 함께 남습니다. 각 행을 펼치면 그때의 설정을 그대로 볼 수 있습니다.
| 실행일 | 엔진 | 셋 | 채점 | 지표 | 종합 | 노트 |
|---|---|---|---|---|---|---|
| 2026.07.17 | hybrid-2.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률100%질문 적합성100%할루시네이션0% | 100% | 게이트 보정 0.45→0.55 (hybrid-2.1) 당시 설정 보기{
"engineVersion": "hybrid-2.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | hybrid-2.0+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률100%질문 적합성100%할루시네이션0% | 100% | hybrid-2.0 벡터 레인 도입 당시 설정 보기{
"engineVersion": "hybrid-2.0",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률100%질문 적합성100%할루시네이션0% | 100% | 신규 도메인 4종 추가 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률100%질문 적합성100%할루시네이션0% | 100% | gpt-4o-mini 라이브 활성화 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1 | v1 | 검색 기반 자동 채점 | 근거 적중100%차단 정확도100% | 100% | 재현성 확인 (동일 설정) 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": null
} |
| 2026.07.17 | lex-1.1 | v1 | 검색 기반 자동 채점 | 근거 적중100%차단 정확도100% | 100% | 베이스라인 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": null
} |
할루시네이션 지표는 낮을수록 좋습니다 · 종합 = 근거 적중 60% + 차단 정확도 40%
위 질문은 물론, 문서에 없는 질문도 데모에서 그대로 물어볼 수 있습니다. 다른 도메인 평가 보기
