재기 시작하면 숫자가 좋아진다: 호손 효과와 새 지표를 들일 때 조심할 것
요지
- 호손 효과는 「잰다는 사실 자체가 사람의 행동을 바꾼다」는 뜻이다. 새 지표를 도입한 뒤 몇 주 동안 좋아진 숫자는 일이 나아져서가 아니라 재기 시작해서일 수 있다.
- 그래서 새 지표의 처음 몇 주는 기준으로 삼지 않고, 숫자가 자리를 잡은 뒤의 값으로 판단한다.
- 재는 것 하나만 두면 사람들은 그 숫자 쪽으로 움직인다. 같이 볼 숫자를 하나 짝지어 두면 한쪽으로 쏠린 것을 알아챌 수 있다.
8판이 말하는 호손 효과
PMBOK® 지침서 8판은 측정의 함정 가운데 첫째로 호손 효과를 든다. 무엇을 재는 행위만으로도 사람들의 행동이 달라지니, 무엇을 잴지 고를 때부터 이 영향을 따져야 한다고 본다. 8판의 예는 인도물의 양만 재면 팀이 고객 만족보다 개수를 늘리는 쪽으로 기울 수 있다는 것이다.
이 글은 이 뜻을 두 가지로 나눠 읽는다. 8판이 직접 둘로 나누지는 않는다.
- 잴 때 숫자가 좋아지는 것: 누가 보고 있다는 것을 알면 평소보다 신경 써서 일한다. 숫자는 오르지만 재는 일이 느슨해지면 다시 내려오기도 한다.
- 재는 쪽으로 일이 쏠리는 것: 잰 것만 챙기고 재지 않은 것은 뒤로 밀린다. 8판의 예가 이쪽이다.
둘 다 「재는 일이 재려는 대상을 바꾼다」는 점에서 같다. 8판 한국어판은 메트릭과 지표를 함께 쓰는데, 이 글에서는 둘 다 「지표」로 부른다.
이름은 어디서 왔고, 지금은 어떻게 보나
이름은 1920년대에서 1930년대 초까지 미국 시카고 근처 웨스턴 일렉트릭의 호손 공장에서 한 작업장 실험에서 왔다. 조명 밝기, 쉬는 시간, 일하는 시간을 바꿔 가며 생산량을 살폈다. 흔히 전해지는 이야기는 「조명을 밝게 해도, 어둡게 해도 생산량이 올랐다. 관심을 받는 것만으로 사람이 더 일했다」는 것이다. 「호손 효과」라는 이름은 1950년대에 붙었다.
뒤의 연구는 이 이야기를 그대로 받아들이지 않는다.
- 2011년 경제학자 Levitt와 List는 없어진 줄 알았던 조명 실험 자료를 찾아 다시 분석했다. 「바꿀 때마다 생산량이 올랐다」는 널리 알려진 모양은 자료에서 보이지 않았다고 했다. 다만 관찰을 받는 것이 영향을 줬을 수 있다는 약한 흔적은 있다고 적었다.
- 2014년 McCambridge 등은 호손 효과를 따로 재려고 설계한 연구 19편을 모아 살폈다. 연구에 참여한다는 것이 행동에 영향을 준다는 결과가 많았지만, 언제, 어떻게, 얼마나 크게 나타나는지는 아직 잘 모른다고 보았다.
그러니 「관심만 주면 생산성이 오른다」는 말은 근거가 약하다. PM이 가져갈 말은 더 좁다. 재면 행동이 바뀔 수 있고, 그 크기는 미리 알 수 없다.
프로젝트에서 보이는 모습
- 도입하자마자 좋아지는 숫자: 코드 검토 대기 시간을 매주 보고하기로 하자 첫 달에 반으로 줄었다. 석 달 뒤에는 다시 예전 값 가까이로 돌아왔다. 첫 달 값을 목표로 잡았다면 이후 내내 「나빠졌다」는 보고만 나온다.
- 재는 것만 챙기는 팀: 회의록을 하루 안에 올린 비율을 재자 비율은 거의 다 채워졌다. 그런데 회의록에 정한 일과 담당자가 빠진 경우가 늘었다. 올린 속도는 쟀지만 내용은 재지 않았다.
- 보는 기간만 좋은 숫자: 시범 운영이나 점검 기간에 잰 값이 평소보다 좋게 나온다. 그 값으로 전체 일정과 인력을 잡으면 실제 운영에서 모자란다.
해 볼 일: 최근 석 달 안에 새로 보고하기 시작한 숫자가 있으면, 첫 달과 셋째 달 값을 나란히 적어 본다. 차이가 크면 첫 달 값은 기준에서 뺀다.
줄이는 법
호손 효과를 없앨 수는 없다. 재는 한 행동이 바뀔 수 있다. 할 수 있는 것은 그 영향을 알아채고 잘못 판단하지 않는 것이다. 아래는 이 글이 권하는 방법이다.
- 처음 몇 주는 기준에서 뺀다. 새 지표를 도입하면 숫자가 자리를 잡을 때까지(두세 번 잰 값이 비슷하게 나올 때까지) 기다린 뒤의 값을 기준으로 삼는다. 목표도 그 뒤에 정한다.
- 같이 볼 숫자를 짝짓는다. 양을 재면 질을, 속도를 재면 다시 하는 일(되돌림, 고친 횟수)을 함께 본다. 회의록 예라면 「하루 안에 올린 비율」 옆에 「정한 일과 담당이 적힌 비율」을 둔다.
- 결과 쪽 숫자를 하나 둔다. 활동의 양(끝낸 건수)만이 아니라 그 일이 노린 결과(고객이 받아 준 비율, 다시 연 건수)를 하나 함께 잰다. 2번이 같은 일의 다른 면을 본다면, 3번은 그 일이 노린 결과를 본다. 앞의 8판 예(인도물 개수와 고객 만족)도 이 방향이다.
- 왜 재는지 알린다. 숫자로 사람을 평가하려는 것인지, 일의 흐름을 보려는 것인지 처음에 밝힌다. 평가로 받아들이면 숫자를 맞추는 쪽으로 더 기운다.
- 회고에서 숫자를 다시 본다. 「이 숫자 때문에 바뀐 행동이 있나, 좋은 쪽인가」를 한 번씩 묻는다. 나쁜 쪽으로 바뀌었으면 재는 법을 바꾸거나 숫자를 뺀다.
해 볼 일: 지금 보고하는 숫자 하나를 골라 2번처럼 「같이 볼 숫자」를 하나 적어 본다. 떠오르지 않으면 「이 숫자만 좋아지고 일은 나빠지는 경우」를 팀과 한 번 상상해 본다.
시험 공부를 한다면
8판의 측정의 함정에는 호손 효과 말고도 허영 메트릭, 사기 저하, 메트릭 오용(숫자를 맞추려 일을 비틀거나 덜 중요한 숫자를 좇는 것), 확증 편향 같은 항목이 있다. 「지표를 새로 정했더니 팀이 그 숫자만 맞추고 고객 쪽 결과는 나빠졌다」는 상황은 호손 효과의 8판 예와 닮았지만 메트릭 오용과도 겹친다. 둘이 함께 보이면, 재는 일 자체가 행동을 바꾼 것인지, 숫자를 맞추려고 일을 비튼 것인지 가려 읽는다.
낱말 정리(8판 한국어판 표기)
표는 가로로 밀어서 볼 수 있습니다.
| 영어 | 8판 한국어판 | 한 줄 뜻 |
|---|---|---|
| Hawthorne effect | 호손 효과 | 재는 행위 자체가 행동을 바꾸는 것 |
| Measurement pitfalls | 측정의 함정 | 측정 때문에 생기기 쉬운 문제 |
| Vanity metric | 허영 메트릭 | 보기엔 좋아도 판단에는 쓸모가 없는 숫자 |
| Demoralization | 사기 저하 | 이룰 수 없는 목표로 팀의 사기가 떨어지는 것 |
| Misusing the metrics | 메트릭 오용 | 숫자를 맞추려 일을 비틀거나 덜 중요한 숫자를 좇는 것 |
측정의 함정 전체는 「어떤 지표를 세우고 무엇을 조심할까」에서 함께 다뤘다. 이 글은 그 가운데 호손 효과 하나만 깊게 봤다.
참고
- PMBOK® 지침서 8판 한국어판과 영어판을 대조했습니다. 거버넌스 성과 영역 2.1.6.7 프로젝트 성과 감시 및 통제 아래의 2.1.6.7.1 측정의 함정을 근거로 삼았고, 원문을 옮기지 않고 뜻을 우리 말로 풀었습니다.
- Steven D. Levitt, John A. List, 「Was There Really a Hawthorne Effect at the Hawthorne Plant? An Analysis of the Original Illumination Experiments」, American Economic Journal: Applied Economics 3(1), 2011.
- Jim McCambridge, John Witton, Diana R. Elbourne, 「Systematic review of the Hawthorne effect: New concepts are needed to study research participation effects」, Journal of Clinical Epidemiology 67(3), 2014.
- 두 가지로 나눠 읽기, 처음 몇 주를 기준에서 빼기, 같이 볼 숫자 짝짓기 같은 방법은 이 글의 제안입니다. 코드 검토, 회의록 같은 예는 설명을 위해 든 가상의 예입니다.
- 이 글은 PMI의 표준을 한국어로 설명한 독립 해설이며, PMI와 관계가 없습니다.
- PMI와 PMBOK은 Project Management Institute, Inc.의 상표 및/또는 등록 상표입니다.
혼자 배운다면 공개 과정, 팀 단위라면 기업 맞춤 출강이 있습니다. 프로젝트 관리 과정 보기 → 새 창