이 문서를 사용할 때
PoC 착수 전과 운영 배포 승인 전
함께 확인할 사람
현업 수용 승인자 · 품질 책임자
Review Area 01
평가셋과 기준선
빈도·위험·난이도를 반영한 대표 질문과 실패 사례 구성
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
정답·필수 근거·허용 가능한 표현·거절 조건 기록
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
현재 업무 방식의 시간·정확도·누락률 기준선 측정
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
학습·튜닝에 사용하지 않는 홀드아웃 평가셋 분리
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
현업·보안·법무 등 평가 승인자의 역할 지정
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
Review Area 02
품질과 안전 지표
검색 적중·근거 인용·근거와 답변의 일치
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
정답성·완결성·업무 규칙 준수
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
모르는 질문의 안전한 거절과 사람 연결
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
권한 밖 데이터 노출·프롬프트 공격·유해 출력
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
응답 지연·실패율·질문당 비용과 업무 시간 절감
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
Review Area 03
판정과 변경 게이트
필수 지표의 최소값과 치명적 실패의 무관용 조건
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
실패 원인·수정 책임·재평가 시점을 기록
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
모델·프롬프트·문서·검색 설정 변경 시 재평가 범위
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
제한 운영·롤백·수동 대체 절차
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.
운영 전환 승인자와 승인 증거 보관 위치
확인 결과 · 담당자 · 근거 링크 · 남은 위험을 기록하세요.