AI 솔루션 · 품질 평가
‘좋아 보인다’는 인상으로 AI 품질을 관리할 수 없습니다. 올윈은 도메인마다 대표 질문과 정답을 미리 정해두고(골든 평가셋), 엔진이 바뀔 때마다 그 질문 전체를 다시 물어 자동 채점하고, 결과를 버전별 이력으로 남깁니다. 소프트웨어의 회귀 테스트를 AI 답변 품질에 적용한 것입니다.
01골든 평가셋이란
아래 데이터는 이 데모 엔진에서 실제로 돌아간 평가 결과입니다. 시연용 숫자가 아닙니다.
도메인마다 실무자가 실제로 물을 대표 질문과 기대 정답을 고정해 둡니다. 이것이 골든 평가셋입니다. ‘문서에 근거가 없으니 답하면 안 되는’ 질문도 일부러 넣습니다.
검색 방식·모델·설정을 바꾸면 그 질문 전체를 다시 실행해 자동 채점합니다. 사람이 눈으로 훑어보고 ‘좋아진 것 같다’고 판단하지 않습니다.
실행할 때마다 당시 설정 스냅샷과 점수가 함께 기록됩니다. 버전 사이에 좋아졌는지 나빠졌는지 비교할 수 있고, 나빠지면 즉시 드러납니다.
채점 지표 — 무엇을 재는가
02도메인별 현황
도메인을 선택하면 실제 골든 질문과 기대 정답, 그리고 최신 엔진이 그 질문에 어떻게 답했는지 전부 볼 수 있습니다.
| 도메인 | 골든 질문 | 최신 엔진 | 근거 적중 | 차단 정확도 | 종합 | 최근 평가 | |
|---|---|---|---|---|---|---|---|
| 제조 안전·설비 규정 | 6개 · v1 | hybrid-2.1+llm | 100% | 100% | 100% | 2026.07.17 | 질문 보기 |
| 산업용 제품 카탈로그 | 6개 · v1 | hybrid-2.1+llm | 100% | 100% | 100% | 2026.07.17 | 질문 보기 |
| 의료기관 내부 규정 | 6개 · v1 | hybrid-2.1+llm | 100% | 100% | 100% | 2026.07.17 | 질문 보기 |
| 법무·계약 표준 | 6개 · v1 | hybrid-2.1+llm | 100% | 100% | 100% | 2026.07.17 | 질문 보기 |
| 건설 시방·안전 기준 | 6개 · v1 | hybrid-2.1+llm | 100% | 100% | 100% | 2026.07.17 | 질문 보기 |
| 금융 내부통제·컴플라이언스 | 6개 · v1 | hybrid-2.1+llm | 100% | 100% | 100% | 2026.07.17 | 질문 보기 |
| 공공 행정규정·민원 편람 | 6개 · v1 | hybrid-2.1+llm | 100% | 100% | 100% | 2026.07.17 | 질문 보기 |
| 인사·취업규칙 | 6개 · v1 | hybrid-2.1+llm | 100% | 100% | 100% | 2026.07.17 | 질문 보기 |
채점 방식: LLM 심사관 (gpt-4o-mini) · 종합 = 근거 적중 60% + 차단 정확도 40%
03버전 이력
아래는 이 데모 엔진의 실제 이력입니다. 좋아진 것만 남기지 않았습니다 — 나빠진 버전과, 그것을 발견해 고친 기록이 그대로 있습니다.
lex-1.1
2026.07.17
재현성 확인 (동일 설정)
4개 도메인 · 8회 실행
100%
평균 종합
lex-1.1+llm
2026.07.17
신규 도메인 4종 추가
8개 도메인 · 12회 실행
100%
평균 종합
hybrid-2.0+llm
2026.07.17
hybrid-2.0 벡터 레인 도입
8개 도메인 · 8회 실행
98%
평균 종합
hybrid-2.1+llm
2026.07.17
게이트 보정 0.45→0.55 (hybrid-2.1)
8개 도메인 · 8회 실행
100%
평균 종합
실제 프로젝트에서는 고객과 합의한 골든 평가셋으로 동일하게 운영합니다. 품질 기준을 통과하지 못한 변경은 배포되지 않습니다.
