# 올윈 수용·품질평가 계획서

- 문서 코드: QA-01
- 버전: 0.1
- 발행일: 2026-07-18
- 재검토 예정일: 2026-10-18
- 상태: 비구속 공개 검토본

## 1. 평가 목적과 범위

- 대상 업무:
- 대상 사용자:
- 대상 데이터와 기간:
- 비교 기준선(현재 방식):
- 평가 제외 범위:
- 현업 수용 승인자:
- 보안·법무 승인자:

## 2. 평가셋 설계

| 질문 ID | 업무·위험 유형 | 입력 | 정답·필수 근거 | 허용 표현 | 거절 조건 | 검토자 |
|---|---|---|---|---|---|---|
|  |  |  |  |  |  |  |
|  |  |  |  |  |  |  |

- [ ] 빈도·위험·난이도를 반영한 대표 질문과 실패 사례 포함
- [ ] 학습·튜닝에 사용하지 않는 홀드아웃 평가셋 분리
- [ ] 개인정보·영업기밀이 포함된 평가 데이터의 접근 통제
- [ ] 정답과 정책 변경 시 버전·검토자 기록

## 3. 품질·안전·운영 지표

| 지표 | 측정 방식 | 기준선 | 통과 기준 | 치명적 실패 | 결과·근거 |
|---|---|---|---|---|---|
| 검색 적중 |  |  |  |  |  |
| 근거 인용·답변 일치 |  |  |  |  |  |
| 정답성·완결성 |  |  |  |  |  |
| 거절·사람 연결 |  |  |  |  |  |
| 권한 밖 데이터 노출 |  |  |  |  |  |
| 프롬프트 공격 방어 |  |  |  |  |  |
| 응답 지연·실패율 |  |  |  |  |  |
| 질문당 비용 |  |  |  |  |  |
| 업무 시간 절감 |  |  |  |  |  |

## 4. 판정과 변경 게이트

- [ ] 필수 지표 최소값과 치명적 실패 무관용 조건 합의
- [ ] 실패 원인·수정 책임·재평가 시점 기록
- [ ] 모델·프롬프트·문서·검색 설정 변경 시 재평가 범위 정의
- [ ] 제한 운영·롤백·수동 대체 절차 확인
- [ ] 운영 전환 승인 증거와 승인자 기록

## 5. 최종 판정

- 결과: 통과 / 조건부 통과 / 재평가 / 중단
- 조건부 항목과 완료 기한:
- 승인자·승인일:
- 평가 결과 링크:
- 다음 재평가 트리거:

최신 웹 문서: `/trust/documents/acceptance-evaluation-plan`