AI 기능 개념 검증(PoC) 결과 보고서 쓰는 법

요지

AI 기능은 실제 자료로 돌려 보기 전에는 원하는 수준에 이를지 알기 어려워, 본 개발 앞에 개념 검증 단계를 따로 둘 수 있다. 그 단계의 끝에 나오는 것이 결과 보고서다. 이 보고서가 할 일은 하나, 계속할지, 범위를 줄여 계속할지, 멈출지를 정할 사람이 같은 문서 한 건만 보고 판단할 수 있게 하는 것이다. 그러려면 처음 정한 판정 기준, 측정값, 한계, 다음 결정이 한 문서 안에 나란히 있어야 한다. 칸마다 무엇을 어떻게 적는지 정리한다.

예: 대여 약관 질의응답 기능

한 공구 대여 회사가 고객 문의에 답하는 상담 담당자를 위한 질의응답 기능을 검토한다고 하자(가상의 예). 담당자가 「반납이 예정보다 세 시간 늦으면 추가 요금은 어떻게 계산하나?」처럼 물으면, 기능이 대여 약관과 파손 보상 안내서, 반납 규정 같은 문서에서 답을 찾아 근거 쪽과 함께 내놓는다. 개념 검증은 6주, 테스트 질문은 150개로 정했다. 판정 기준은 착수 때 스폰서가 승인한 두 가지다. 정답 비율 85% 이상, 그리고 정답으로 센 답 가운데 근거 쪽까지 맞은 답 95% 이상.

보고서의 칸

표는 가로로 밀어서 볼 수 있습니다.

판정 기준: 처음 것을 그대로 적는다

판정 기준 칸에는 결과를 보기 전에 승인한 기준을 그대로 옮긴다. 테스트 도중 기준을 바꿨다면 바꾼 기준만 적지 않고, 처음 기준과 바꾼 날, 바꾼 이유, 승인한 사람을 함께 적는다. 결과를 본 뒤 기준을 고친 것인지 읽는 사람이 구분할 수 있어야 보고서를 믿을 수 있다.

측정값: 전체 비율 하나로 끝내지 않는다

측정값은 기준 바로 옆에 둔다. 「정답 81%」만 쓰지 않고 「150개 중 121개」처럼 분모를 함께 적는다. 같은 81%라도 질문이 20개인지 150개인지에 따라 무게가 다르다.

전체 비율은 유형별로 나눠 다시 적는다. 이 예에서 요금, 기한, 조건을 한 문서에서 찾는 질문은 90개 중 84개를 맞혔다. 대여 약관과 파손 보상 안내서를 비교해야 하는 질문은 40개 중 26개, 스캔으로만 남은 지점별 안내문에 대한 질문은 20개 중 11개였다. 합치면 121개다. 전체 비율만 적었다면 어느 유형에서 많이 틀렸는지 보이지 않는다.

근거 쪽이 틀린 답 12개는 건수와 함께 실제 답을 적는다. 12개가 모두 같은 문서에서 나왔는지, 서로 다른 곳에서 나왔는지에 따라 다음 판단이 달라질 수 있다.

테스트 조건도 측정값만큼 적는다. 기능을 다듬는 데 쓴 질문으로 다시 쟀다면 측정값이 실제보다 높게 나올 수 있다. 다듬는 데 쓴 질문과 판정에 쓴 질문을 나눴는지 적는다. 같은 질문에 답이 매번 달라질 수 있는 기능이라면 질문마다 몇 번 돌렸고 어느 답을 채점했는지도 적는다.

채점 규칙에는 정답을 어떻게 셌는지를 적는다. 이 예처럼 답과 근거 쪽을 따로 센다면, 근거로 든 쪽이 틀린 답을 정답에 넣었는지부터 적는다. 적용할 조항은 맞게 찾았는데 추가 요금의 계산이 틀린 경우를 정답으로 셌는지 틀린 답으로 셌는지에 따라서도 81%의 뜻이 달라진다. 채점한 사람도 적는다. 이를테면 약관을 잘 아는 상담 담당자 두 명이 따로 채점했다면, 두 사람의 판정이 갈린 질문이 몇 개였고 어떻게 정리했는지를 남긴다.

틀린 답: 예를 그대로 붙인다

틀린 답 칸에는 유형마다 두세 건씩 질문, 기능의 답, 맞는 답, 근거로 든 쪽을 나란히 붙인다. 읽는 사람은 비율보다 예 몇 건에서 틀림의 무게를 가늠할 수 있다. 문서에 없는 내용을 지어낸 답은 판정 기준에 들지 않았더라도 건수를 따로 세어 적는다. 같은 한 건이라도 상담 담당자가 고객에게 그대로 전했을 때의 무게가 다를 수 있기 때문이다. 예를 고른 규칙도 적는다. 이를테면 유형마다 채점 순서대로 앞의 몇 건을 골랐다고 밝혀 두면, 고르기 쉬운 예만 모았다는 의심을 덜 수 있다.

한계: 재지 못한 것을 따로 적는다

한계 칸은 변명을 적는 곳이 아니라 이번 측정값을 어디까지 믿을 수 있는지 적는 곳이다. 이 예라면 테스트 질문은 상담 기록에서 골랐지만 실제 운영에서 들어올 질문의 비율은 아직 모른다. 테스트 문서가 지금 쓰는 약관에 몰려 있었다면 개정 전 약관으로 맺은 계약에 대해서는 말할 수 있는 것이 없다. 여러 담당자가 한꺼번에 쓸 때의 응답 시간과 사용량에 따른 원가도 재지 않았다. 재지 못한 것마다 본 개발에서 언제 잴 수 있는지를 붙여 둔다. 그러면 다음 계획으로 이어진다.

다음 결정: 선택지를 나란히 놓는다

보고서는 결정을 대신하지 않는다. 기준과 측정값을 비교한 결과를 적고, 선택지마다 무엇이 전제이고 무엇이 뒤따르는지를 나란히 놓는다.

• 계속: 정답 비율 81%로 기준 85%에 못 미쳤고, 근거 쪽이 맞은 답도 90%로 기준 95%에 못 미쳤다. 계속하려면 무엇을 고쳐 몇 주 안에 다시 잴지와 그 원가를 적는다.
• 줄여서 계속: 한 문서에서 찾는 질문만 범위로 삼는 안이다. 다만 이 범위는 결과를 본 뒤 고른 것이라, 줄인 범위로 새 테스트 질문을 만들어 다시 재야 한다는 점을 함께 적는다.
• 멈춤: 지금까지 만든 테스트 질문과 채점 규칙, 틀린 답의 기록을 어디에 남길지 적는다.

보고서를 쓴 사람의 의견을 적을 때는 측정값과 섞여 읽히지 않게 따로 표시한다. 결정할 사람과 결정 회의 날짜를 적는다.

PoC 결과 보고서 확인 목록

• 검증 목표를 착수 때 정한 문장 그대로 적었는가
• 판정 기준과 승인한 사람, 날짜를 적고, 바꾼 기준은 처음 기준과 함께 적었는가
• 테스트 질문의 출처와 수, 문서의 종류, 모델과 설정의 버전을 적었는가
• 다듬는 데 쓴 질문과 판정에 쓴 질문을 나눴는지, 질문마다 몇 번 돌려 어느 답을 채점했는지 적었는가
• 정답으로 센 규칙과 채점한 사람, 판정이 갈린 질문의 정리를 적었는가
• 측정값을 기준 옆에 분모와 함께 적었는가
• 질문 유형별 측정값을 적고, 합이 전체와 맞는가
• 근거 쪽이 틀린 답은 건수와 실제 답을 함께 적었는가
• 틀린 답의 예를 유형마다 붙이고 예를 고른 규칙을 적었는가
• 문서에 없는 내용을 지어낸 답은 건수를 따로 세어 적었는가
• 재지 못한 것과 언제 잴 수 있는지를 적었는가
• 선택지마다 전제, 뒤따를 일, 원가를 적었는가
• 쓴 사람의 의견을 측정값과 따로 표시했는가
• 결정할 사람과 날짜를 적었는가

참고

• 외부 자료를 근거로 쓰지 않았다. 본문은 일반적인 테스트 보고와 의사결정 문서의 원리로 썼다.
• 공구 대여 회사의 대여 약관 질의응답 기능 예와 그 안의 숫자는 이 글을 위해 만든 가상의 예다.