품질 평가 · 공공 행정규정·민원 편람
이 도메인의 골든 평가셋 전체를 공개합니다. 아래 질문과 기대 정답은 미리 고정해 둔 것이고, 판정은 최신 엔진이 실제로 실행한 결과입니다.
01골든 질문 전체
아래 판정은 hybrid-2.1+llm 엔진이 2026.07.17에 이 질문들을 실제로 다시 실행한 결과입니다. 채점 방식은 LLM 심사관 (gpt-4o-mini)입니다.
“정보공개 청구는 접수 후 며칠 이내에 결정하나요?”
기대 정답
정보공개 청구는 접수일로부터 10일 이내에 결정해 청구인에게 통지하고, 부득이하면 10일 범위에서 한 차례 연장할 수 있다.
엔진의 실제 답변
“질의민원과 건의민원 처리 기간은 어떻게 되나요?”
기대 정답
질의민원은 7일, 건의민원은 14일 이내 처리가 원칙이며, 처리 기간에 토요일과 공휴일은 산입하지 않는다.
엔진의 실제 답변
“보조금 정산보고서에는 어떤 서류를 첨부하나요?”
기대 정답
정산보고서는 사업 완료 후 30일 이내에 제출하며 전자세금계산서와 보조금 전용 통장 거래내역 사본을 첨부한다.
엔진의 실제 답변
“행정심판은 처분을 안 날부터 언제까지 청구 가능한가요?”
기대 정답
행정심판은 처분이 있음을 알게 된 날부터 90일, 있었던 날부터 180일 이내에 청구해야 한다.
엔진의 실제 답변
“시립도서관 휴관일은 언제인가요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
“버스 노선 개편 일정은 언제인가요?”
기대 정답
제공된 문서에 근거 없음 — 확인 불가 처리가 정답
‘확인 불가가 정답’인 질문은 차단해야 통과입니다 — 지어내면 실패입니다.
02평가 이력
실행할 때마다 당시 엔진 설정 스냅샷이 점수와 함께 남습니다. 각 행을 펼치면 그때의 설정을 그대로 볼 수 있습니다.
| 실행일 | 엔진 | 셋 | 채점 | 지표 | 종합 | 노트 |
|---|---|---|---|---|---|---|
| 2026.07.17 | hybrid-2.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률85%질문 적합성100%할루시네이션0% | 100% | 게이트 보정 0.45→0.55 (hybrid-2.1) 당시 설정 보기{
"engineVersion": "hybrid-2.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | hybrid-2.0+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도50%충실성100%정답률85%질문 적합성100%할루시네이션0% | 80% | hybrid-2.0 벡터 레인 도입 당시 설정 보기{
"engineVersion": "hybrid-2.0",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"lanes": [
"lexical",
"vector(text-embedding-3-small)"
],
"fusion": "RRF",
"model": "gpt-4o-mini"
} |
| 2026.07.17 | lex-1.1+llm | v1 | LLM 심사관 (gpt-4o-mini) | 근거 적중100%차단 정확도100%충실성100%정답률85%질문 적합성100%할루시네이션0% | 100% | 신규 도메인 4종 추가 당시 설정 보기{
"engineVersion": "lex-1.1",
"refusalThreshold": 0.22,
"topK": 3,
"weights": {
"keyword": 0.65,
"bigram": 0.35
},
"model": "gpt-4o-mini"
} |
할루시네이션 지표는 낮을수록 좋습니다 · 종합 = 근거 적중 60% + 차단 정확도 40%
위 질문은 물론, 문서에 없는 질문도 데모에서 그대로 물어볼 수 있습니다. 다른 도메인 평가 보기
