AI 초안이 섞인 인도물의 품질 관리

요지

인도물은 누가 어떤 도구로 썼든 프로젝트의 이름으로 나간다. 생성형 AI로 초안을 쓴 부분이 섞이면, 한 인도물 안에서도 확인이 더 필요한 부분이 생긴다. 이 차이를 개인의 주의에 맡기지 말고 품질관리 계획서에 적어 두어야 검토자가 바뀌어도 같은 수준으로 볼 수 있다. 핵심은 세 가지다. AI 사용 정도와 인도물의 영향으로 검토 수준을 정하고, 작성자와 다른 사람을 검토자로 두고, 분량이 큰 인도물은 표본 검토 규칙을 미리 정한다.

발주처가 먼저 찾아낸 오류

공공기관 홈페이지 개편 사업에서 요구사항 정의서를 받은 발주처 담당자가 두 주 뒤 질문을 보내왔다(가상의 예). 면담에서 말한 적 없는 요구 세 건이 문서에 들어 있다는 것이다. 수행사의 분석 담당은 이해관계자 면담 기록 스무 건을 생성형 AI로 정리해 초안을 만들었고, PM은 형식만 보고 문서를 냈다. 정리 과정에서 일반적인 홈페이지 요구가 섞여 들어갔지만, 그 문서를 원본 면담 기록과 대조한 사람은 없었다.

이 일을 개인의 실수로만 정리하면 다음 인도물에서 되풀이된다. 어떤 인도물에 AI를 썼는지, 그런 인도물은 누가 무엇을 기준으로 다시 보는지가 품질관리 계획서에 있었다면, 형식만 보고 내는 일은 절차에서 걸러질 수 있었다.

검토 수준을 정하는 두 축

검토 수준은 그 인도물에 AI를 얼마나 썼는가와, 틀렸을 때 영향이 얼마나 큰가를 함께 보고 정한다.

AI 사용 정도는 셋으로 나눈다. 쓰지 않음(사람이 처음부터 썼다), 다듬기에 씀(사람이 쓴 내용의 문장과 형식만 고쳤다), 내용 정리에 씀(원본 자료를 AI가 읽고 정리하거나 새 문장을 만들었다)이다. 영향도 셋으로 나눈다. 팀 내부용, 발주처 제출용, 계약이나 인수 확인처럼 효력이 있는 문서다.

표는 가로로 밀어서 볼 수 있습니다.

칸 안의 내용은 예다. 실제 검토 방법은 계약과 조직의 품질 규정에 맞춰 정한다. 중요한 것은 표를 품질관리 계획서에 붙여 두고, 인도물마다 어느 칸에 드는지 작성 단계에서 표시하게 하는 것이다.

검토자는 작성자가 아닌 사람으로

AI로 정리한 문서는 작성자가 스스로 오류를 찾기 어려울 수 있다. 작성자는 원본 자료를 이미 읽어 머릿속에 내용이 있어서, 문서에 새로 들어온 문장을 원래 있던 것으로 여기기 쉽다. 그래서 「내용 정리에 씀」이 「발주처 제출용」 이상과 겹치는 칸에서는 작성자가 아닌 사람을 검토자로 정한다.

검토자는 그 분야를 아는 사람이어야 한다. 요구사항 정의서라면 면담에 들어갔던 사람, 원가 산정표라면 산정 근거를 아는 사람이다. 분야를 모르는 사람의 검토는 형식 검토에 그치기 쉽다. 검토 작업을 일정의 활동으로 넣고 담당을 미리 정해 두면, 마감 직전에 검토자를 찾는 일이 줄어든다.

분량이 큰 인도물은 표본으로 본다

테스트 케이스 수백 건, 데이터 항목 정의 수천 줄처럼 AI로 한꺼번에 만든 큰 인도물은 전부를 원본 자료와 대조하기 어렵다. 이때는 표본 검토 규칙을 미리 정해 둔다.

규칙에는 세 가지가 들어간다. 몇 건을 어떻게 뽑을지, 표본에서 오류가 몇 건 나오면 전수 검토로 넘어갈지, 전수 검토는 누가 언제 할지다. 예를 들어 앞의 두 가지는 「테스트 케이스 300건 가운데 영역별로 고르게 30건을 뽑아 대조하고, 오류가 2건 이상이면 해당 영역 전체를 다시 본다」처럼 정한다(가상의 숫자). 숫자는 인도물의 영향과 발주처와 합의한 인수기준에 맞춰 정한다. 표본 크기와 뽑는 방법은 검토를 시작하기 전에 정하고, 검토 도중에 바꾸지 않는다.

표본 규칙이 없으면 검토자는 앞쪽 몇 건만 보고 판단하기 쉽고, 뒤쪽의 오류는 발주처가 찾게 될 수 있다. 표본을 고르게 뽑는다는 조건이 그래서 중요하다. 어떤 건을 뽑았는지도 기록해 두어야, 나중에 오류가 나왔을 때 표본 밖에서 나온 것인지 구분할 수 있다.

내부 검토와 발주처 검토를 나눈다

발주처도 인도물을 검토하니 내부 검토는 가볍게 해도 된다고 여기기 쉽다. 그러나 두 검토는 보는 것이 다르다. 발주처는 인도물이 자기 업무에 맞는지, 빠진 요구가 없는지를 본다. 수행사의 원본 자료와 한 줄씩 대조하는 일은 발주처가 할 수 없고, 할 이유도 없다. 원본 자료를 가진 쪽은 수행사다.

그래서 AI로 내용을 정리한 인도물은 「원본 자료로 역추적할 수 있다」는 것을 내부 검토의 통과 조건으로 둔다. 요구사항 정의서라면 요구 항목마다 출처가 된 면담 기록 번호를 붙이게 하는 식이다. 이렇게 해 두면 발주처가 의문을 제기했을 때도 근거를 바로 보여 줄 수 있다.

이 조건을 인수기준에 넣을지는 발주처와 협의할 일이다. 착수 단계에서 「주요 인도물의 항목마다 근거 자료를 표시한다」는 데 합의하면, 내부 검토의 기준과 발주처의 인수 판단이 같은 방향을 보게 된다.

검토 기록을 남긴다

검토 기록은 나중에 문제가 생겼을 때 어디까지 다시 봐야 하는지 알려 준다.

발주처에 AI 사용을 알려야 하는지는 계약과 발주처의 요구에 따른다. 알릴 의무가 없더라도 검토 기록을 갖추어 두면 질문을 받았을 때 바로 설명할 수 있다.

검토 기록 서식

• 인도물 이름과 버전
• AI 사용 정도(쓰지 않음, 다듬기에 씀, 내용 정리에 씀)와 쓴 부분
• 영향 구분(팀 내부용, 발주처 제출용, 효력이 있는 문서)
• 적용한 검토 수준과 검토자 이름(작성자와 다른 사람인지 표시)
• 대조한 원본 자료 목록
• 표본 검토를 했다면 표본 크기, 뽑은 방법, 뽑은 건의 번호, 전수 검토로 넘어갔는지
• 찾은 오류와 고친 곳
• 남은 문제와 처리 담당
• 검토 날짜와 PM 확인

참고

• 외부 자료를 근거로 쓰지 않았다. 본문은 일반적인 프로젝트 품질 관리 원리로 썼다.
• 공공기관 홈페이지 개편 사업 장면, 검토 수준표, 표본 크기와 기준 숫자, 검토 기록의 예는 이 글을 위해 만든 가상의 예다.