많은 기업의 AI 프로젝트가 에서 조용히 멈춥니다. 예산이 끊겨서가 아닙니다. 훨씬 더 근본적인 이유가 있고, 대부분의 회사가 그 이유를 정확히 짚지 못한 채 “AI는 아직 이르다”며 접습니다.
진짜 두려운 건, 돈이 아니라 ‘판단할 수 없음’입니다
기업이 AI 도입에서 진짜 두려워하는 건 돈을 날리는 게 아닙니다. 완성됐는지를 스스로 판단할 수 없다는 것입니다. 기존 소프트웨어는 화면이 나오면 눈에 보입니다 — 버튼이 눌리는지, 목록이 뜨는지. 그런데 AI는 그럴듯하게 답하니, 그게 맞는 답인지 담당자가 알 수가 없습니다.
쉽게 말하면
검수를 못 하니 승인을 못 하고, 승인을 못 하니 도입이 멈춥니다. 이것이 AI 파일럿이 PoC에서 죽는 진짜 이유입니다. 기술이 부족해서가 아니라, ‘됐다’고 말할 근거가 없어서입니다.
담당자는 사실, 개인의 리스크를 지고 있습니다
여기서 잘 안 보이는 진실 하나. AI 도입을 검토하는 실무 담당자는 회사의 돈만 거는 게 아니라 자기 신뢰를 겁니다. 윗선이 “이거 맞는 거 맞아?”라고 물었을 때 “네, 이 기준으로 검증했습니다”라고 답할 수 없으면, 담당자는 결재를 올리지 못합니다. 그래서 겉으로는 “좀 더 보자”지만, 속으로는 방어적으로 미루는 것입니다. 대부분의 AI 프로젝트는 기술이 아니라 이 지점에서 좌초합니다.
현장 경험칙
AI 도입을 파는 쪽이 진짜 팔아야 할 것은 성능이 아니라 담당자가 사내에서 승인을 받아낼 근거입니다. “정확도 몇 %”가 아니라 “품의서에 그대로 붙일 수 있는 숫자”를 줘야 도입이 굴러갑니다.
해법 — 고객은 AI를 몰라도, 자기 업무의 정답은 압니다
그래서 착수할 때 “우리 업무에서 반드시 답해야 할 질문”과 그 정답을 함께 정합니다. 이 질문·정답 묶음을 이라 부릅니다. 그리고 그 정답으로 AI를 채점합니다. 기준이 귀사의 언어로 적혀 있으니, 판정은 담당자가 직접 할 수 있습니다. 아래에서 채점이 어떻게 되는지 눌러 보세요.
착수할 때 정한 대표 질문으로 채점합니다 — 하나씩 눌러 보세요.
골든셋, 이렇게 만듭니다 (여기에 노하우가 있습니다)
골든셋은 잘 만들면 프로젝트의 나침반이 되고, 잘못 만들면 있으나 마나입니다. 현장에서 쌓인 몇 가지 원칙이 있습니다.
현장 경험칙
골든셋은 완벽할 필요가 없습니다. 대표적이면 됩니다. 처음부터 500개를 만들려다 지쳐 포기하는 것보다, 진짜 중요한 30~50개로 시작해 굴리면서 늘리는 편이 훨씬 낫습니다.
현장 경험칙
‘답하면 안 되는 질문’을 반드시 넣으세요. AI의 진짜 위험은 틀리는 게 아니라, 모르는 걸 아는 척 지어내는 것입니다. “경쟁사보다 우리가 싼가요?” 같은 질문에 “확인 불가”로 멈추는지가, 잘 맞히는 것보다 더 중요할 때가 많습니다.
그리고 골든셋은 IT 부서가 아니라 정답을 아는 현업이 만들어야 합니다. 정답을 판정할 수 있는 사람은 그 업무를 하는 사람뿐이니까요. 이게 “고객이 심판이 된다”는 말의 실제 의미입니다.
흔한 실수
데모용으로 쉬운 질문만 몇 개 넣고 “다 통과했다”며 안심하는 것. 진짜 넣어야 할 건 애매한 질문, 함정 질문, 답하면 안 되는 질문입니다. 쉬운 질문만 통과한 AI는, 실제 현업에 나가는 순간 무너집니다.
그러면 실패를 6개월이 아니라 2주 안에 봅니다
골든셋을 정하는 순간, 이게 될 일인지 안 될 일인지가 착수 전에 드러납니다. 6개월을 태우고 나서 아는 것보다, 2주 안에 아는 편이 훨씬 쌉니다. 그리고 진척이 “70% 완료” 같은 말 대신 “골든 82/100 통과, 지난주 대비 +6” 같은 숫자로 나옵니다. 품의서에 그대로 붙는 형태라, 담당자가 사내에서 도입을 설득할 근거가 됩니다.
현장 경험칙
“지금 2주를 써서 될지 안 될지를 먼저 확인하자”에 동의하지 못하는 고객과는, 사실 시작하지 않는 편이 서로에게 낫습니다. 그 2주를 아까워하는 프로젝트는 6개월 뒤에 훨씬 더 크게 무너지기 때문입니다.
핵심 3줄
- 1AI는 그럴듯하게 답해서, 맞는지 알 수 없습니다. 검수를 못 하니 승인을 못 하고, 승인을 못 하니 도입이 멈춥니다.
- 2해법은 착수할 때 '반드시 답해야 할 질문'과 정답을 정하고, 그 정답으로 채점하는 것 — 판정은 고객이 합니다.
- 3그러면 실패를 6개월 뒤가 아니라 2주 안에 알고, 품의서에 붙는 숫자가 나옵니다.
