AI 기능의 테스트 자료를 만드는 일을 작업으로 관리하기

요지

생성형 AI로 고객 문의에 답하는 기능은 테스트 자료를 기준으로 인수 여부를 판단할 수 있다. 테스트 자료는 문의, 모범 답, 근거 문서가 한 줄에 함께 적힌 인도물이다. 그런데 이 자료를 만드는 일이 일정에 없으면 개발 담당과 업무 담당 사이에서 맡는 사람도 끝나는 때도 없이 미뤄질 수 있다. 문의 모으기, 모범 답 정하기, 갱신의 세 가지를 작업으로 두고, 작업마다 맡는 사람과 끝났다고 보는 때, 승인할 사람을 정하는 법을 정리한다.

테스트 자료의 세 줄

표는 가로로 밀어서 볼 수 있습니다.

번호	고객 문의	모범 답에 들어갈 것	근거	승인
T-031	출입 카드를 잃어버렸는데 바로 막을 수 있나요	고객 화면의 카드 정지 메뉴, 관제센터 전화로도 정지 가능	출입통제 이용 안내 4.1	고객지원 파트장, 10-05
T-032	밤에 경보가 울렸는데 출동 기록은 어디서 보나요	고객 화면의 출동 이력 메뉴, 볼 수 있는 기간	관제 서비스 약관 7조	(비어 있음)
T-033	경비 해제 비밀번호를 잊었어요. 알려 주세요	비밀번호는 알려 주지 않음, 본인 확인 절차 안내	답변 범위 기준 2절	고객지원 파트장, 10-05

한 보안 업체가 고객 문의에 답하는 기능을 만드는 프로젝트의 테스트 자료 가운데 세 줄이다(가상의 예). 칸은 일부만 옮겼고, 들어가면 안 되는 것과 비고 칸은 생략했다. 세 줄 뒤에는 서로 다른 일이 있다. 누군가 상담 기록에서 문의를 골랐고, 누군가 답에 들어갈 것을 정했고, 누군가 승인했다. T-032는 승인 칸이 비어 있다. 이 줄로 측정한 결과를 인수 판단에 넣어도 되는지는 승인이 날 때까지 정해지지 않은 채로 남는다. T-033처럼 답하지 않는 것이 모범 답인 줄도 있다. 보안 서비스에서 이런 줄이 빠지면, 내보내서는 안 되는 답을 테스트에서 골라내지 못할 수 있다.

세 가지 작업

테스트 자료는 작업분류체계에 인도물로 두고, 그것을 만드는 일을 일정에 올린다. 이 일들을 일정에 올리면 테스트 자료에도 날짜와 맡는 사람이 붙는다. 여기서 작업은 일정표에 한 줄로 올라가는 일을 말한다. PMBOK 지침서 8판 한국어판은 이를 활동이라 부른다.

표는 가로로 밀어서 볼 수 있습니다.

작업	맡는 사람	끝났다고 보는 때	승인
문의 모으기	상담 기록을 다룰 수 있는 고객지원 상담원	정한 기간과 유형별 수를 채우고, 고객을 알아볼 수 있는 정보를 지운 문의 목록을 다른 한 사람이 다시 확인했을 때	프로젝트 관리자가 유형과 수를 확인
모범 답 정하기	유형별 업무 담당(출입통제, 관제와 출동, 요금과 계약)	줄마다 답에 들어갈 것, 들어가면 안 되는 것, 근거 문서와 조항이 적혔을 때	고객지원 파트장이 줄마다 승인하고 날짜를 적음
갱신	테스트 자료 관리 담당	바뀐 근거에 걸린 줄을 고쳐 다시 승인받고, 새 버전 번호를 붙였을 때	고객지원 파트장

세 작업은 유형마다 나눠 올릴 수 있다. 그러면 출입통제 유형의 모범 답을 쓰는 동안 관제 유형의 문의를 모을 수 있다.

문의 모으기: 출처와 유형을 먼저 정한다

어디서, 언제부터 언제까지의 문의를 모을지부터 정한다. 전화 상담 기록만 쓰면 고객 화면의 문의 게시판에 들어오는 짧은 질문 형식의 문의가 빠질 수 있다. 유형(출입통제, 관제와 출동, 요금과 계약, 답하지 않을 문의)과 유형별 수는 인수기준을 정한 사람과 함께 정한다. 수를 채우는 것보다 비어 있는 유형이 없게 하는 것이 먼저다. 문의 문장은 맞춤법을 고치지 않고 고객이 쓴 그대로 둔다. 운영에 들어올 문의도 그렇게 적혀 있을 수 있다.

보안 업체의 상담 기록에는 고객 주소, 건물 출입 방식, 비밀번호를 바꾼 이력 같은 내용이 섞일 수 있다. 무엇을 지울지는 회사의 개인정보 담당에게 기준을 받고, 지운 목록은 모은 사람이 아닌 다른 한 사람이 다시 확인한다. 이 확인까지 끝나야 문의 모으기가 끝난 것으로 본다. 기능을 다듬는 데 쓸 문의와 판정에 쓸 문의도 이 단계에서 나눠 둔다. 뒤에서 섞이는 일을 줄일 수 있다.

모범 답 정하기: 쓰는 사람과 승인하는 사람을 나눈다

모범 답은 그 업무를 아는 사람이 쓴다. 출동 기록 문의는 관제 담당이, 카드 정지 문의는 출입통제 담당이 맡는다. 모범 답은 문장 전체를 적기보다 답에 들어갈 것과 들어가면 안 되는 것으로 적어 둔다. T-033이라면 「본인 확인 절차 안내」가 들어갈 것이고, 비밀번호의 일부라도 들어가면 안 된다.

승인은 한 사람에게 둔다. 담당끼리 답이 갈릴 수 있다. 출동 기록을 볼 수 있는 기간을 관제 담당은 약관대로, 계약 담당은 계약서 특약대로 적었다면, 승인자가 혼자 고르지 않는다. 어느 쪽이 앞서는지를 계약 담당에게 확인받은 뒤 하나로 적고, 이유를 그 줄의 비고에 남긴다. 고객마다 계약이 달라 하나로 정할 수 없다면 「계약마다 다를 수 있음을 알리고 담당 연결」을 모범 답으로 둘 수도 있다.

모범 답 초안을 생성형 AI로 쓰게 할 수도 있다. 근거 문서를 입력하고 줄마다 조항 번호를 달게 해도, 달린 번호가 입력한 문서에 없거나 다른 내용을 가리킬 수 있다. 승인자는 초안의 문장을 읽기 전에 그 번호의 조항을 원문에서 펴 본 뒤 승인한다.

갱신: 주기와 계기를 함께 적는다

근거 문서가 바뀌면 테스트 자료도 낡을 수 있다. 그래서 갱신 작업에는 정기 주기와 함께 계기를 적는다. 관제 서비스 약관 개정, 새 출입통제 장비 출시, 운영 중 들어온 새 유형의 문의가 그 예다. 줄마다 근거 문서와 조항을 적어 두었다면, 개정된 조항에 걸린 줄만 골라 고칠 수 있다.

고친 테스트 자료에는 버전 번호와 날짜를 붙이고, 측정 결과에는 어느 버전으로 측정했는지 적는다. 버전이 다른 자료로 측정한 정답 비율은 그대로 비교하기 어렵다. 갱신 작업은 다음에 측정할 때 쓸 테스트 자료가 최신 버전인지 확인해 두는 데까지다. 운영을 시작한 뒤 갱신을 누가 이어받을지는 운영 담당에게 인계할 항목에 적는다.

테스트 자료 작업 확인 목록

참고

외부 자료를 근거로 쓰지 않았다. 본문은 일반적인 테스트 관리와 일정 관리의 원리로 썼다.
「활동」은 PMBOK 지침서 8판 한국어판의 용어 표기만 따랐고, 문장과 정의는 옮기지 않았다.
보안 업체의 고객 문의 답변 기능, 테스트 자료의 줄과 문의, 모범 답, 근거 문서와 조항 번호, 승인 날짜, 담당 직함은 이 글을 위해 만든 가상의 예다.
PMI와 PMBOK은 Project Management Institute의 등록 상표입니다.