AI 도입 효과를 재는 법

요지

생성형 AI를 들인 팀에서 「시간이 줄었다」는 말은 쉽게 나올 수 있다. 그러나 초안을 쓰는 시간이 줄어든 만큼 검토하고 고치는 시간이 늘었다면, 일 전체로 보면 달라진 것이 없을 수도 있다. 효과를 재려면 AI가 아니라 일의 결과를 재야 한다. 걸린 시간, 다시 한 횟수, 고친 양, 뒤늦게 발견된 오류 네 가지를 도입 전에 잰 기준값과 비교하는 법, 그리고 비교를 흐리는 요인을 정리한다.

「빨라졌다」는 말의 빈칸

온라인 꽃 배달 회사의 고객 안내문 작성 팀이 생성형 AI로 안내문 초안을 쓰기 시작했다고 하자(가상의 예). 한 달 뒤 팀원들은 초안 쓰는 시간이 줄었다고 말한다. 그런데 검토를 맡은 선임은 요즘 고칠 곳이 많아졌다고 하고, 고객 문의 창구에서는 안내문의 환불 조건 설명이 실제 약관과 다르다는 문의가 두 건 들어왔다.

세 가지 말은 모두 사실일 수 있다. 초안은 빨라졌고, 검토는 길어졌고, 오류 하나가 검토를 빠져나갔다. 「빨라졌다」는 말은 일의 한 단계만 본 것이다. 효과를 판단하려면 안내문 한 건이 요청되어 고객에게 나갈 때까지의 전체를 봐야 한다.

무엇을 잴 것인가

재는 대상은 AI의 답이 아니라 일의 결과다. 문서를 만드는 일이라면 아래 네 가지로 시작한다.

표는 가로로 밀어서 볼 수 있습니다.

걸린 시간은 두 가지로 나눠 적는다. 요청에서 완료까지 지난 시간(기다린 시간이 들어 있다)과, 초안, 검토, 수정에 실제로 들인 시간이다. 초안에 들인 시간이 줄어도 검토 순서를 기다리는 시간이 그대로면 고객이 받는 날짜는 달라지지 않을 수 있다.

네 가지를 함께 보는 이유는 서로를 견제하기 때문이다. 걸린 시간만 보면 검토를 줄여도 효과가 난 것처럼 보이고, 그 대가는 뒤늦게 발견된 오류로 나타날 수 있다. 하나가 좋아지고 다른 하나가 나빠졌다면, 둘을 함께 적어야 실제로 일어난 일이 보인다.

기준값을 먼저 잡는다

도입한 뒤에 재기 시작하면 비교할 대상을 찾기 어렵다. AI를 쓰기 전, 또는 쓰지 않는 같은 종류의 일에서 네 가지 값을 먼저 잡아 둔다. 이렇게 도입 전에 잰 값을 이 글에서는 기준값이라 부른다. 프로젝트 관리에서 기준선은 승인된 계획을 가리키는 말이라, 두 말을 섞지 않으려는 것이다.

기준값을 잡을 때는 기간과 건수를 정해 둔다. 예를 들어 「도입 전 4주 동안 작성한 안내문 전부」처럼 정하면 고른 일만 재는 일을 막을 수 있다(가상의 숫자). 기억에 기대어 「예전에는 한 건에 두 시간쯤 걸렸다」고 적은 값은 기준값으로 쓰기 어렵다.

비교를 흐리는 요인

기준값과 도입 뒤 값을 나란히 놓아도, 차이가 모두 AI 때문이라고 말하기는 어렵다. 아래 요인을 함께 적어 둔다.

일의 난이도가 달라졌을 수 있다. 도입 뒤 한 달 동안 간단한 안내문이 많았다면 시간은 AI와 상관없이 줄어든다. 일을 몇 가지 종류로 나눠 종류별로 비교하면 이 차이를 줄일 수 있다.

사람이 익숙해지는 효과가 있다. 같은 일을 반복하면 도구와 상관없이 빨라질 수 있다. 새 도구에 익숙해지는 동안의 값과 익숙해진 뒤의 값도 다를 수 있으니, 도입 직후와 몇 주 뒤의 값을 나눠서 적는다.

시간을 잰다는 것을 알면 사람은 서두를 수 있고, 고친 양을 잰다는 것을 알면 검토자가 덜 고칠 수 있다. 재는 일 자체가 행동을 바꿀 수 있는 것이다. 재는 목적이 사람을 평가하는 것이 아니라 일하는 방식을 살피는 것임을 처음에 밝혀 두는 편이 낫다.

숨은 원가를 함께 적는다

효과를 말할 때 줄어든 시간만 적으면 판단이 한쪽으로 치우친다. 같은 표에 늘어난 것도 적는다. 검토와 수정에 늘어난 시간, 프롬프트(AI에 입력하는 요청문)를 만들고 고치는 데 든 시간, 도구 사용료, 뒤늦게 발견된 오류를 바로잡는 데 든 시간이다. 도구 사용료는 쓰는 양에 따라 달라질 수 있으니, 추정값이 아니라 측정 기간의 실제 청구액으로 적는다. 이 값들이 모여야 「들인 것과 얻은 것」을 비교할 수 있다.

결과를 읽고 공유하는 법

측정이 끝나면 숫자를 읽는 일이 남는다. 몇 가지를 지키면 숫자가 실제보다 크게 읽히는 일을 줄일 수 있다.

건수가 적으면 결론을 미룬다. 안내문 열 건으로 잰 평균은 한두 건의 특이한 일에 크게 흔들릴 수 있다. 건수가 모자라면 기간을 늘려 더 모은 뒤에 결론을 말한다.

평균 하나로 말하지 않는다. 걸린 시간의 최솟값과 최댓값, 그리고 그 사이의 흩어진 정도를 함께 적으면, 일부 일만 빨라졌는지 고르게 빨라졌는지 보인다.

좋아진 것과 나빠진 것을 한 표에 둔다. 걸린 시간이 줄고 뒤늦게 발견된 오류가 늘었다면, 두 숫자를 나란히 보여 주어야 듣는 사람이 판단할 수 있다. 좋아진 숫자만 앞에 내세운 보고는 다음 결정을 잘못 이끌 수 있다.

결과는 일하는 방식을 살피는 데 쓴다. 검토 시간이 늘었다면 초안을 맡길 때 입력한 자료가 모자랐는지 보고, 뒤늦게 발견된 오류가 있었다면 그 오류가 검토의 어느 단계를 지나쳤는지 본다. 측정의 목적이 사람을 평가하는 것이 아니라고 처음에 밝혔다면, 결과를 공유할 때도 그 약속을 지킨다.

측정 기록 서식

• 잴 일의 종류와 범위(어떤 문서, 어떤 단계부터 어디까지)
• 기준값을 잡은 기간과 건수, 고른 방법(전부, 또는 정한 규칙)
• 일 하나마다 요청에서 완료까지 지난 시간과, 실제로 들인 시간(초안, 검토, 수정을 나눠서)
• 검토에서 다시 한 횟수와 고친 양
• 완료 뒤에 발견된 오류의 건수와 발견 경로
• 일의 종류별 비교와, 도입 직후와 몇 주 뒤의 비교
• 늘어난 것(검토 시간, 프롬프트 관리 시간, 사용료, 오류 수정 시간)
• 결과 보고에 좋아진 숫자와 나빠진 숫자를 함께 넣었는가
• 재는 목적과 결과를 누구와 공유할지를 팀에 알렸는가

참고

• 외부 자료를 근거로 쓰지 않았다. 본문은 일반적인 성과 측정 원리로 썼다.
• 온라인 꽃 배달 회사 안내문 작성 업무 장면, 측정 항목의 예, 숫자는 이 글을 위해 만든 가상의 예다.