품질 평가 · 건설 시방·안전 기준
이 도메인의 골든 평가셋 전체를 공개합니다. 아래 질문과 기대 정답은 미리 고정해 둔 것이고, 판정은 최신 엔진이 실제로 실행한 결과입니다.
01골든 질문 전체
아래 판정은 hybrid-2.1+llm 엔진이 2026.07.17에 이 질문들을 실제로 다시 실행한 결과입니다. 채점 방식은 LLM 심사관 (gpt-4o-mini)입니다.
“동바리 수평연결재는 어떤 기준으로 설치하나요?”
기대 정답
파이프서포트 동바리는 높이 3.5m 초과 시 2m 이내마다 수평연결재를 2방향으로 설치하고, 설치 전 구조검토를 거쳐 조립도를 작성한다.
엔진의 실제 답변
“타워크레인 해체 작업은 순간풍속이 얼마면 중지하나요?”
기대 정답
타워크레인 설치·해체 작업은 순간풍속 10m/s 초과 시 중지하고, 15m/s를 초과하면 운전 작업도 중지한다.
엔진의 실제 답변
“콘크리트 양생은 며칠간 습윤 상태를 유지하나요?”
기대 정답
보통 포틀랜드 시멘트 콘크리트는 타설 후 5일 이상 습윤 상태를 유지하고, 일평균기온 4℃ 이하가 예상되면 한중콘크리트 계획을 적용한다.
엔진의 실제 답변
“굴착 사면 기울기는 지반별로 어떻게 되나요?”
기대 정답
굴착 사면 기울기는 모래 1:1.8, 연암 1:1.0, 경암 1:0.5를 준수하며, 지킬 수 없으면 흙막이 지보공을 설치한다.
엔진의 실제 답변
“레미콘 납품 단가는 얼마인가요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
“함바식당 메뉴 단가는 얼마인가요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
‘확인 불가가 정답’인 질문은 차단해야 통과입니다 — 지어내면 실패입니다.
02평가 이력
실행할 때마다 당시 엔진 설정 스냅샷이 점수와 함께 남습니다. 각 행을 펼치면 그때의 설정을 그대로 볼 수 있습니다.
| 실행일 | 엔진 | 셋 | 채점 | 지표 | 종합 | 노트 |
|---|---|---|---|---|---|---|
| 2026.07.17 | hybrid-2.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률95%질문 적합성100%할루시네이션0% | 100% | 게이트 보정 0.45→0.55 (hybrid-2.1) 당시 설정 보기{
"engineVersion": "hybrid-2.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | hybrid-2.0+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률88%질문 적합성100%할루시네이션0% | 100% | hybrid-2.0 벡터 레인 도입 당시 설정 보기{
"engineVersion": "hybrid-2.0",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률88%질문 적합성100%할루시네이션0% | 100% | 신규 도메인 4종 추가 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": "gpt-4o-mini"
} |
할루시네이션 지표는 낮을수록 좋습니다 · 종합 = 근거 적중 60% + 차단 정확도 40%
위 질문은 물론, 문서에 없는 질문도 데모에서 그대로 물어볼 수 있습니다. 다른 도메인 평가 보기
