AI 기능의 한계를 사용자에게 알리는 안내문 쓰기
요지
AI가 만든 결과를 보여 주는 화면에는 한계를 알리는 문구를 붙일 수 있다. 그 문구가 「정확하지 않을 수 있다」에서 멈추면, 사용자는 무엇이 틀릴 수 있고 어디서 확인하면 되는지 알 수 없다. 안내문에는 틀릴 수 있는 항목, 확인할 곳, 다루지 않는 것을 적는다. 틀릴 수 있는 항목은 테스트 기록에 남은 틀린 예에서, 다루지 않는 것은 범위기술서에서 가져온다. 문구는 기능과 함께 만드는 인도물이니, 누가 쓰고 누가 확인하고 누가 승인하는지를 프로젝트의 작업으로 잡아 둔다. 예는 부동산 중개 앱의 매물 설명 요약 기능으로 든다.
「AI가 요약한 내용으로, 정확하지 않을 수 있습니다.」
한 부동산 중개 앱이 매물 설명 요약 기능을 내놓으면서, 중개사가 올린 긴 설명 위에 세 줄 요약을 띄우고 그 아래에 붙인 문구다(가상의 문구와 예). 문구는 틀린 말이 아니다. 다만 이 문장만으로는 사용자가 무엇을 하면 되는지 알기 어렵다. 어느 부분이 틀릴 수 있는지, 틀렸는지를 무엇으로 알아보는지, 요약에 아예 들어가지 않는 내용이 있는지를 말하지 않기 때문이다.
이 기능의 테스트 기록에는 틀린 예가 남아 있을 수 있다. 관리비에 포함된 항목이 빠진 요약, 중개사 설명에 없던 「역세권」이 붙은 요약, 전용면적과 공급면적을 섞어 적은 요약 같은 것이다. 사용자가 매물을 비교할 때 보는 것도 이런 숫자와 조건일 수 있다. 안내문에 적을 항목은 테스트 기록에서 찾는다. 틀린 예가 유형별로 분류되어 있지 않다면, 문구를 쓰기 전에 그 정리부터 테스트 담당에게 부탁한다.
안내를 두는 위치
한 줄 문구에 모든 것을 담을 수는 없다. 사용자가 그 순간 하는 일에 맞춰 안내를 나눠 둔다.
표는 가로로 밀어서 볼 수 있습니다.
| 위치 | 사용자가 그때 하는 일 | 담을 말 |
|---|---|---|
| 요약 바로 위 표시 | 요약을 읽기 시작함 | AI가 만든 요약이라는 사실, 원문에서 확인하라는 말 |
| 요약 아래 한두 줄 | 매물을 비교함 | 틀릴 수 있는 항목의 이름과 확인할 곳 |
| 숫자 옆 | 면적, 관리비를 읽음 | 이 숫자는 원문에서 확인하라는 짧은 말 |
| 처음 쓸 때 한 번 뜨는 설명 | 기능을 처음 켬 | 요약이 다루는 것과 다루지 않는 것 |
| 도움말 | 궁금한 점을 찾아봄 | 한계의 자세한 설명, 틀린 요약을 알리는 방법 |
처음 설명의 「다루지 않는 것」은 사용자가 요약을 넘겨짚지 않게 하는 부분이다. 이 앱의 요약이 중개사가 올린 설명만 정리한다면 「요약은 중개사가 올린 설명만 정리하며, 시세와 주변 시설 정보는 담지 않습니다」처럼 적을 수 있다(가상의 문구). 이 범위는 개발팀이 정한 기능 범위와 같아야 하니, 범위기술서와 기능 명세의 문장과 대조한다.
문구에는 항목과 확인할 곳을 함께 적는다
요약 아래 문구는 이렇게 고칠 수 있다(가상의 문구). 「면적, 관리비는 중개사가 올린 원문과 다를 수 있습니다. 원문 보기에서 확인하고, 궁금한 점은 중개사에게 물어 주세요.」 처음 문구와 달리 틀릴 수 있는 항목, 확인할 곳, 물을 사람이 들어 있다.
쓸 때 지킬 것은 셋이다. 첫째, 근거가 있는 한계만 적는다. 틀릴 수 있다고 적는 항목은 테스트 기록의 틀린 예에, 다루지 않는다고 적는 것은 범위기술서와 기능 명세에 짝이 있어야 한다. 짝 없이 떠올린 문장을 넣으면 기능과 다른 안내가 될 수 있다. 둘째, 「참고용」처럼 사용자가 무엇을 하면 되는지 없는 말은 확인 방법과 함께 적는다. 셋째, 기능을 부풀리는 말(「한눈에 정확하게」)을 한계 문구와 한 화면에 나란히 두지 않는다. 앞의 말 때문에 뒤의 한계 문구가 가볍게 읽힐 수 있다.
AI로 문구 후보를 받을 때는 테스트 기록의 틀린 예 목록과 범위기술서의 해당 문장을 함께 입력한다. 후보에는 입력한 자료에 없는 한계나 기능 설명이 섞여 있을 수 있다. 문장마다 입력한 자료의 어느 줄에서 왔는지 짝을 지어 보고, 짝이 없는 문장은 뺀다.
누가 정하고 누가 승인하나
안내문은 화면 디자인의 마지막 작업으로 밀릴 수 있고, 그러면 법무 검토가 공개 직전에 몰릴 수 있다. 작업분류체계에 「안내 문구와 도움말」을 인도물 한 줄로 넣고, 일정에 확인과 승인 기간을 따로 잡아 둔다.
문구 한 벌이 거치는 확인은 이런 순서로 잡을 수 있다(예). 화면 문구 담당이 초안을 쓴다. 테스트 담당이 적힌 한계가 테스트 기록과 범위기술서에 맞는지 본다. 고객 상담 담당이 사용자가 실제로 묻는 말과 맞는지 본다. 법무 담당이 알려야 할 내용이 빠지지 않았는지, 약관과 다르지 않은지 본다. 한계를 알릴 법적 의무가 있는지, 면적이나 관리비처럼 매물을 알릴 때 표시 규정이 따로 있는 항목인지는 이 글에서 다루지 않는다. 문구를 쓰기 전에 법무 담당에게 확인한다. 끝으로 제품 책임자가 승인하고, 승인한 버전의 번호와 날짜를 남긴다. 최종 승인을 어느 역할이 하는지는 조직마다 다를 수 있으니 착수 때 정해 둔다.
승인한 문구는 화면별로 한 목록에 모아 버전 번호를 붙이고, 개발팀은 그 목록에서만 문구를 가져다 쓴다. 화면 문구 담당이 바뀌어도 어느 버전이 승인된 것인지 찾을 수 있고, 테스트 담당은 화면에 뜬 문구를 목록과 한 줄씩 대조할 수 있다.
기능이 바뀌면 문구도 다시 승인한다
요약에 넣는 항목이 늘거나, 기반 모델이 바뀌거나, 테스트에서 새로운 틀린 예가 나오면 안내문이 실제 기능과 맞지 않게 될 수 있다. 이런 변경을 변경요청으로 다룰 때 안내 문구를 영향 범위에 함께 적고, 문구가 바뀌면 같은 확인 순서를 다시 거친다. 인수기준에 「화면과 도움말의 문구가 승인한 버전과 글자까지 같다」를 넣어 두면, 개발 중에 누군가 고친 문구가 승인 없이 나가는 일을 줄일 수 있다. 사용자가 알려 온 틀린 요약은 테스트 담당에게 전달해 테스트 기록에 추가하고, 안내문을 고칠지 정하는 근거로 쓴다.
한계 안내문 확인 목록
- 안내문에 적은 한계마다 테스트 기록의 틀린 예나 범위기술서의 문장이 짝으로 있는가
- 틀릴 수 있는 항목의 이름과 확인할 곳이 함께 적혀 있는가
- 요약 위, 요약 아래, 숫자 옆, 처음 설명, 도움말에 담을 말을 나눠 정했는가
- 「참고용」처럼 할 일이 없는 말을 확인 방법과 함께 적었는가
- 기능을 부풀리는 말이 한계 문구와 한 화면에 있지 않은가
- AI가 낸 후보 문구의 문장마다 입력한 자료의 줄과 짝을 지어 보고, 짝 없는 문장을 뺐는가
- 알려야 할 내용, 약관과의 관계, 업종의 표시 규정을 법무 담당에게 확인했는가
- 작업분류체계에 안내 문구와 도움말이 인도물로 들어 있고, 일정에 확인과 승인 기간이 잡혀 있는가
- 최종 승인할 역할과 승인한 버전의 번호, 날짜가 남아 있는가
- 기능이 바뀔 때 문구를 영향 범위에 넣고 다시 승인하는 절차가 있는가
참고
- 외부 자료를 근거로 쓰지 않았다. 본문은 일반적인 화면 문구 작성과 프로젝트 인도물 관리의 원리로 썼다.
- 부동산 중개 앱의 매물 설명 요약 기능, 화면 문구, 테스트 기록의 틀린 예, 확인 순서는 이 글을 위해 만든 가상의 예다.
- 법률 조언이 아니다. 한계를 알릴 법적 의무가 있는지, 매물 표시에 관한 규정, 약관과의 관계는 이 글에서 다루지 않는다. 회사의 법무 검토를 따른다.
혼자 배운다면 공개 과정, 팀 단위라면 기업 맞춤 출강이 있습니다. 프로젝트 관리 과정 보기 → 새 창