В учебной модели отбор верхнего 1% при корреляции 0,5 даёт разрыв с целью в 8,7 процентильного пункта. Обещанная премия способна усилить подмену результата очками. Основатель «Школы траблшутеров» Олег Брагинский и Антон Бессарабов сопоставляют расчёты с исследованиями внутренней мотивации и реальным банковским кейсом Wells Fargo.

Рис. 1. Премия за продукты ещё не означает удержания клиентов
Закон, сформулированный дважды
Чарльз Гудхарт высказал наблюдение в 1975 году, обсуждая денежную политику: статистическая закономерность склонна разрушаться, когда показатель начинают использовать для управления. Цифра, прежде описывавшая процесс, меняет смысл под давлением управляющего решения.
Контекстом служило таргетирование денежных агрегатов: выбранный ориентир переставал вести себя предсказуемо после превращения в цель. Для других дисциплин формулировку уточняли, сохраняя предупреждение о зависимости измерения от способа применения.
Привычную краткую формулировку использовала Мэрилин Стратерн. В 1997 году, разбирая британскую систему университетского аудита, исследовательница записала: когда мера становится целью, она перестаёт быть хорошей мерой.
Близкую идею развил Дональд Кэмпбелл в статье Assessing the Impact of Planned Social Change, опубликованной в 1979 году в журнале Evaluation and Program Planning: чем шире количественный показатель используется для принятия решений, тем сильнее давление, искажающее измеряемый процесс.
Игрофикация – применение игровых элементов в неигровой деятельности. Очки, значки и рейтинги за рабочее поведение создают риск подмены цели: награда привязана к измеряемому действию, полезность которого может оставаться непроверенной.
Арифметика подмены
Компания отбирает 1% сотрудников с самыми высокими значениями показателя и хочет понять, насколько хорошо выбранная группа справляется с реальной задачей. При совместном нормальном распределении показателя и результата среднее можно оценить по корреляции r между ними.

Рис. 2. Корреляция определяет, насколько отбор приближает к цели
Среднее группы по показателю выше общего на 2,67 стандартного отклонения, что соответствует 99,6-му процентилю. По цели преимущество равно r × 2,67 стандартного отклонения соответствующей переменной.
При r = 0,9 среднее по цели соответствует 99,2-му процентилю, при r = 0,7 – 96,9-му, при r = 0,5 – 90,9-му, а при r = 0,3 – 78,8-му. Процентиль присвоен среднему группы, а не каждому сотруднику; разница рангов не измеряет потерю выручки или производительности.

Рис. 3. Преимущество по показателю передаётся цели лишь частично
При r = 0,3 переход от верхнего 1% к верхним 0,1% увеличивает разрыв стандартизированных средних с 1,87 до 2,36.
Разница процентильных рангов при этом уменьшается с 20,8 до 15,6 пункта. Процентильная шкала нелинейна, поэтому жёсткость отбора действует на показатели неодинаково.
Модель описывает отбор при фиксированной корреляции. Закон Гудхарта касается изменения поведения: зная правила, люди могут подстраиваться под показатель. Связь с целью способна ослабнуть, но расчёт не доказывает неизбежного ухудшения.
Wells Fargo: восемь продуктов на клиента
Wells Fargo поставил розничной сети цель: восемь продуктов на клиента. Рост перекрёстных продаж должен был отражать более глубокие отношения с банком. Проблема возникла, когда выполнение плана стало важнее согласия клиента и действительной потребности в услуге.
В сентябре 2016 года Wells Fargo согласился выплатить штрафы на 185 млн долларов: 100 млн – Бюро финансовой защиты потребителей, 35 млн – Управлению валютного контролёра, 50 млн – властям Лос-Анджелеса. В связи с нарушениями практики продаж банк уволил около 5’300 сотрудников.
В августе 2017 года банк сообщил результаты расширенной независимой проверки: около 3,5 млн потенциально несанкционированных счетов за январь 2009 – сентябрь 2016 года. Первоначальная оценка составляла примерно 2,1 млн и охватывала более короткий период.
Формально деление 3,5 млн на 5’300 даёт около 660 счетов. Приписывать полученное число каждому уволенному нельзя: периоды и совокупности не совпадают, а распределение нарушений между сотрудниками из агрегированных данных неизвестно. Арифметика не устанавливает индивидуальную «норму».
Число продуктов на клиента могло расти формально, тогда как согласие на открытие счетов отсутствовало. Улучшение отчётности переставало означать укрепление отношений с банком. План продаж превращал показатель в основание для премии, отрывая от настоящей цели.
Когда награда вытесняет интерес

Рис. 4. Обещанная награда может отодвинуть собственный интерес
Эдвард Деси, Ричард Кёстнер и Ричард Райан опубликовали в 1999 году в Psychological Bulletin метаанализ 128 исследований. В первоначально интересных заданиях материальные награды снижали добровольное продолжение занятия: эффект −0,40 за участие, −0,36 за завершение и −0,28 за результат.
При d = −0,36 нормальная модель с одинаковыми дисперсиями даёт около 40% вероятности, что случайный участник награждённой группы покажет более высокий результат, чем участник контрольной. Это условный пересчёт, а не доля «мотивированных» сотрудников.
Ожидаемое материальное вознаграждение дало эффект −0,36, неожиданное – 0,01 с 95%-м интервалом от −0,20 до 0,22. Статистически незначимое различие не доказывает, что любой подарок имеет нулевой эффект.
Джуди Кэмерон и Дэвид Пирс объединили в 1994 году в Review of Educational Research результаты 96 экспериментов. Общий вывод отличался: награда в целом не снижает внутреннюю мотивацию, а словесная похвала способна её повышать.
Деси с соавторами оспаривали отбор и классификацию исследований у Кэмерон и Пирса. При сравнении важны тип награды, условия получения и способ измерения интереса. Эксперименты не дают универсального правила о вреде премий в бизнесе.
Сколько даёт сама игрофикация
Михаэль Зайлер и Лиза Хомнер опубликовали в 2020 году в Educational Psychology Review метаанализ игрофикации обучения. Средние эффекты положительны: 0,49 для когнитивных результатов, 0,36 для мотивационных и 0,25 для поведенческих.

Рис. 5. Поведенческий эффект соседствует с широким интервалом
У поведенческих результатов точечная оценка наименьшая; 95%-й доверительный интервал – от 0,04 до 0,46. Показатель неоднородности когнитивных эффектов I² составил 72,21%. Данные относятся к обучению: перенос на продажи или производительность требует отдельной проверки.
Gartner предсказал в ноябре 2012 года, что к 2014 году 80% действовавших тогда игрофицированных приложений не достигнут бизнес-целей из-за плохого дизайна. Аналитики критиковали фиксацию на очках, значках и таблицах лидеров вместо осмысленного игрового опыта.
Прогноз Gartner не является измеренной долей провалов. Оценка 80% описывает историческое ожидание отраслевых рисков, а не подтверждённое число неудачных проектов.
Что запомнить?
- При корреляции 0,5 среднее лучшего 1% по показателю соответствует 90,9-му процентилю по цели вместо 99,6-го.
- Жёсткость отбора увеличивает разрыв стандартизированных средних, но не обязательно разницу процентильных рангов.
- Ожидаемые материальные награды могут снижать последующий интерес к задаче; результат зависит от условий и измерителя.
- Средний поведенческий эффект игрофикации в обучении – 0,25; данные не задают готового эффекта для бизнеса.
- Цель Wells Fargo «восемь продуктов» связана с кейсом потенциально несанкционированных счетов и штрафами 2016 года.
Заключение
Метаанализ Зайлера и Хомнер помогает уточнить вопрос «что именно работает». Игровой сюжет и социальное взаимодействие оказались значимыми модераторами поведенческих результатов. Однако исследование не устанавливает универсального превосходства повествования над очками.
Сходная проблема возникает при обучении моделей: оптимизация приближённой награды может расходиться с настоящей целью. Явление называют reward hacking – эксплуатацией системы вознаграждения. Аналогия полезна, но не сводит разные механизмы к одной формуле нормального отбора.
Практический порядок работы:
- назвать настоящую цель словами до выбора показателя;
- оценить связь измерителя с результатом и проверить последствия отбора;
- отделить премируемый показатель от независимой проверки результата и пересматривать устаревающие правила;
- учитывать риск вытеснения интереса обещанными наградами, если задача привлекательна сама по себе;
- добавить встречный показатель, который ухудшается при злоупотреблении основным.
Проверка связи должна предшествовать премии: показатель, выбранный за удобство измерения, почти всегда выглядит разумным. Цифра сообщает, что сотрудник сделал. Сопоставление с настоящей целью помогает понять, стоило ли это делать.
Источники и расчёты
Расчёт отбора – учебная модель совместного нормального распределения с фиксированной корреляцией. Перевод эффекта в вероятность предполагает нормальные распределения с одинаковой дисперсией. Эмпирические результаты и исторические сведения – из источников ниже.
Гудхарт Ч. Problems of Monetary Management: The UK Experience. 1975; перепечатка в Monetary Theory and Practice, 1984.
Стратерн М. Improving ratings: audit in the British University system. European Review, 1997.
Кэмпбелл Д. Assessing the Impact of Planned Social Change. Evaluation and Program Planning, 1979; открытая перепечатка 2011 года.
CFPB. Решение о штрафе Wells Fargo и описание нарушений практики продаж. 8 сентября 2016.
Wells Fargo. Результаты расширенной независимой проверки розничных счетов. 31 августа 2017.
Деси Э., Кёстнер Р., Райан Р. A Meta-Analytic Review of Experiments Examining the Effects of Extrinsic Rewards on Intrinsic Motivation. Psychological Bulletin, 1999.
Кэмерон Дж., Пирс Д. Reinforcement, Reward, and Intrinsic Motivation: A Meta-Analysis. Review of Educational Research, 1994.
Зайлер М., Хомнер Л. The Gamification of Learning: a Meta-analysis. Educational Psychology Review, 2020.
Gartner. Прогноз о риске недостижения бизнес-целей игрофицированных приложений к 2014 году. Пресс-релиз от 27 ноября 2012.
Скальсе Й. и соавторы. Defining and Characterizing Reward Gaming. NeurIPS, 2022.