Помилки аналітики, як залишатися об’єктивним аналізуючи дані

17/ 03/ 2017

Олександр Семененко, директор з маркетингу M Consulting Group

— Я знаю, що нічого не знаю, але інші не знають і цього
Приписується Сократові

Займаєтеся ви дослідженням ринків, вивчаєте тільки власну статистику або просто «відчуваєте ринок», у будь-якому разі ви аналізуєте доступну інформацію, прогнозуєте майбутнє та приймаєте рішення. І, звичайно, намагаєтеся бути максимально об’єктивними.

Наші експерти щодня збирають дані, аналізують їх, моделюють сценарії, і прогнозують події. Ми точно знаємо, що зберігати об’єктивність дуже непросто.

Нами були зібрані типові помилки, викликані специфікою людського сприйняття реальності, що можуть впливати на об’єктивність наших аналітиків і розробили рекомендації, які дозволяють їх уникати повністю або мінімізувати. Про найцікавіші з них готові вам розповісти.

Оцінка в умовах ризику та невизначеності

Наша поведінка, оцінка реальності і прийняття рішень не раціональні і не об’єктивні, це науково доведено. Але, тим не менш “людські помилки” статистично передбачувані і укладаються в певні моделі, а значить, їх можна контролювати.

Найчастіше давати помилкові оцінки ми можемо при:

• оцінці альтернатив, особливо якщо їх більше двох
• прогнозуванні ризиків, особливо якщо ризикуємо самі

Нам може здаватися, що підвищити об’єктивність просто, достатньо спиратися на розрахунки, адже “цифри не брешуть”. Цифри, звичайно ні, так само як і букви, але люди схильні обманювати себе самі.

З оцінкою ймовірності 100% ми не помиляємося, так само як з імовірністю 0. У першому випадку подія відбудеться точно, а в другому, точно ні. Але з іншими варіантами складніше. Маленькі ймовірності ми схильні завищувати “про всяк випадок”, а великі занижувати “настільки добре бути не може”.

Одна і та ж ймовірність 70% буде сприйматися як більш вагома в разі втрат, ніж в разі придбання. Поглянувши на графік нижче, можна зробити ще кілька цікавих спостережень:

Функція цінності. (Теорія перспектив *)

Крива втрат більш різко йде вниз, що означає, що збитки сприймаються гостріше і їх вірогідність буде здаватися вищою. А в зоні високого ризику крива втрат стає більш згладженою, тобто великі втрати вже не здаються такими великими. Ми як би звикаємо до ризику і схильні його збільшувати і далі.

У разі вибору між двома можливостями переважна більшість людей обере, ту де ризики мінімальні, ніж ту де прибуток є максимальним. Навіть у разі повної інформації з двох альтернатив ми можемо вибрати гіршу неправильно оцінивши ризики обох випадків.

Що робити?

У випадку з оцінкою ризиків вірним рішенням буде застосування коригувальних функцій і відкритість до нових знань, адже чим більш різноманітним досвідом володіє експерт, тим простіше йому залишатися об’єктивним. Навіть просто знання про схильності людини до оцінки в умовах невизначеності здатне значно підвищити точність і об’єктивність.

Невраховані дані

За часів другої Світової Війни математику Абраму Вальдо поставили завдання визначити найбільш вразливі місця британських бомбардувальників.

Вальд вивчивши статистику пробоїн у повернулися літаків дав рекомендацію додатково бронювати не ті місця, в який спостерігалося найбільшу кількість пробоїн, а ті, де пробоїн не було взагалі.

До цього випадку вважалося, що найбільш уразливими місцями є ті, де більше пробоїн (очевидно, що саме туди ціляться німецькі пілоти винищувачі), але в дійсності все виявилося інакше — там де найбільше пробоїн від снарядів броня не потрібна.

Адже до даних взагалі не потрапили збиті бомбардувальники. Якщо в крилі або хвостовому оперенні безліч попадань, а літак все ж таки повернувся на базу, значить найбільш вразливими є місця зовсім без пробоїн (саме ці літаки і не повернулися з завдання).

Сьогодні ця помилка зустрічається так само часто. Ми враховуємо позитивний досвід компаній більшою мірою, ніж негативний, будуємо стратегії ґрунтуючись на успіхи компаній і ігноруємо тисячі випадків нікому невідомих провалів. Безглуздо вважати що “у них же вийшло” або що “високі доходи означають, що на ринку вистачить місця і нам теж”.

Спостерігаючи за величезними прибутками лідерів ринку легко піддатися враженню, що цей ринок дуже прибутковий. Але не знаючи скільки “не повернулися з завдання” не можна робити висновки.

Що робити?

Вивчаючи ринок або компанію, крім загальнодоступних даних ми намагаємося зібрати і ті, які не лежать на поверхні, такі, про які не пише преса, якими не прийнято хвалитися на круглих столах і семінарах. А якщо інформації не вистачає, моделюємо ситуацію “навпаки”. Завжди є те, чого ми не бачимо, але можемо обчислити відносно відомих даних.

Наприклад, статистика показує, що показники заповнюваності готелів починають рости. Здається, що у місто стало приїжджати більше туристів. Але якщо взяти до уваги, що за цей самий період часу частина готелів закрилася, стає зрозуміло, то заповнюваність одних, збільшилася за рахунок закриття інших.

Навіть якщо ви не займаєтеся дослідженням ринків і не будуєте прогнозів, подумайте, спілкування з незадоволеними клієнтами дасть більш важливу інформацію (аналіз їх скарг), ніж опитування задоволених. В ідеальному випадку спілкуватися потрібно навіть не з клієнтами, а з тими, хто у вас так нічого і не придбав.

Варто усвідомити, що як би ви не старалися, побачити одразу цілісну картину не вдасться, а ось переконати себе в цьому, можна досить легко.

Любов до середніх чисел

Як часто в звітах, прогнозах і рейтингах трапляється фраза “в середньому”? Середня вартість, прибутковість, ставка … Середнім значенням оперувати простіше, ніж всім масивом даних і вони дають нам ілюзію розуміння реальності.

Але що, насправді, означає “в середньому”?

Зі школи ми звикаємо, що «середнє», це середнє арифметичне. Але що якщо середнє не таке вже й середнє? Насправді «середніх» набагато більше одного: середнє арифметичне, середнє медіанне, середнє гармонійне, хронологічний і геометричне, середнє зважене … Різниця між ними може досягати більше 30%.

Приклад. Середнє арифметичне ціни пропозиції квадратного метра на ринку новобудов Києва виявилося на 12% вище, ніж середнє медіанне.

Обравши не ту середню величину можна дуже просто отримати результати що сильно відрізняються від реальних.

До тієї ж шкідливою тенденції “усереднення”, можна віднести і звичку обчислювати два крайніх значення (або найгірший і найкращий варіанти прогнозу) і вважати їх середнє арифметичне найбільш імовірним значенням.

Але звідки впевненість, що “істина десь посередині”? Наш повсякденний досвід говорить нам, що ймовірність крайніх значень нижче але з цього не випливає що середнє значення більш істинно або більш імовірно.

Що робити?

Із середніми числами ми зазвичай робимо так: показуємо в звіті кілька середніх значень (в додатку завжди є повна таблиця даних, але хто ж заглядає у додаток), при цьому точно знаємо в яких випадках яка методика розрахунку середньої величини є коректною.

Також наші експерти знають, що вірогідних сценаріїв завжди набагато більше ніж три і розглядати потрібно всі можливі ймовірності.

Помилка оточення

Очевидно, що ми вибираємо те оточення яке нам комфортно, спілкуємося з тими людьми погляди яких поділяємо, читаємо ті статті які підтверджують нашу думку. Це наші упередження і ми любимо їх.

Від учасників ринку часто можна почути щось на кшталт: “Всі так вважають”. Але важливо знати, що в цій фразі “всі” означає не буквально 100%, і не 90% і навіть не 50%, а “всі з ким я спілкуюся і чию думка вважаю правильною”.

І тим не менше, уникнути впливу оточення і при цьому не випасти з експертного товариства неможливо. Доводиться постійно нагадувати собі про те, що оточуючі теж можуть помилятися і що більшість не така вже й більшість.

Що робити?

У випадку з впливом оточення, ми виробили простий прийом протидії: з більшою уважністю відноситься даних, що суперечать нашим поглядам. У нашій практиці ми застосовуємо “коефіцієнт 2”, це означає, що альтернативна думка має бути, як мінімум, прочитано експертом двічі.

Ефект власника

Сам по собі факт володіння чимось підвищує його вартість в очах власника. Також на суб’єктивну цінність великий вплив має заплачена ціна або витрачені зусилля.

Цікавий експеримент був поставлений в 1985 році. Було випущено три серії абонементів в театр зі знижкою. За 15, 13 і 8 доларів. З’ясувалося, що глядачі заплатили найбільшу вартість за абонемент відвідували театр частіше на 22%.

Психологічно складно продати за суму меншу, ніж було заплачено раніше (втрати і збитки ми сприймаємо важче). Цей ефект варто враховувати при побудові прогнозів ринку. Більшість продавців будуть відтягувати продаж активів, сподіваючись, що ось-ось вони почнуть дорожчати.

Така поведінка стосується не тільки матеріальних об’єктів, ефект поширюється і на ідеї. Аналітик, який опублікував певний прогноз чекатиме підтвердження своєї правоти до останнього, замість того, щоб внести зміни відповідно до обставин, що змінюються.

Ефект точки відліку

У нас є ще одна нераціональність, що стосується оцінки. Ми оцінюємо невідомі значення в залежності від відомих, навіть якщо вони ніяк не пов’язані між собою. На нашу оцінку сильно впливає “точка відліку”, що природно але некоректно, якщо база для порівняння незалежна від величини що порівнюється.

Прогноз, який ви отримаєте раніше, буде виглядати для вас більш імовірним. У практиці переговорів, сторона першою назвала конкретну цифру може отримати перевагу, так як весь наступний торг буде вестися навколо первинної цифри.

Якщо один експерт першим назве цифру (навіть “зі стелі”), то і всі інші можуть давати схожі прогнози (якщо самі не потурбувалися аналізом даних), в цьому випадку первісна цифра буде досить нав’язливо з’являтися в інформаційному полі.

Що робити?

Як у випадку з сприйняттям втрат, так і у випадку з ефектом власника, найкращим варіантом корекції буде довірити оцінку і вироблення рішень консультанту, його сприйняття фактів напевно буде більш виваженим, ніж у власника бізнесу.

З точкою відліку все теж досить очевидно, потрібно правильно вибирати базу для порівняння, розглядати не тільки попередній рік, а наприклад 5-річний період. Такий підхід дуже “очищає” сприйняття цифр.

Помилки описані вище, більшою мірою мали відношення до оцінки фактів минулого і сьогодення. А при прогнозуванні майбутнього шансів помилитися ще більше.

Оцінка майбутнього

Кожен може пригадати безліч прикладів невдалих прогнозів. Справа навіть не в неточних цифрах, аналітики помиляються на порядки.

У Morgan Stanley проаналізували дані за прогнозами цін акцій за 27 років. Виявилося, що, в середньому, річні прогнози аналітиків по прибутковості на 60% відрізнялися реальних показників.

Чи варто після цього довіряти фінансовим аналітикам? Варто, адже серед них є і ті, чиї прогнози постійно точні і ті, хто постійно помиляються, а також ті, хто то помиляється, то виявляється абсолютно правим.

У свій час вважалося, що ціна на нафту буде завжди рости, адже це вичерпний ресурс, його завжди буде не вистачати.

Математична модель Кінга Хабберта (запропонована в 1956 році) передбачала, що пік видобутку нафти буде досягнутий в 2000 році. Цього не сталося. Геологічна служба США (U.S. Geological Survey) пророкує пік видобутку нафти вже на 2037 рік. А ось ще кілька прогнозів максимального обсягу видобутку виходячи із запасів і споживання:

World Energy Council — 2010 Shell — пізніше 2025. Energy Information Administration — 2016. Cambridge Energy Research Associates — пізніше 2020.

Звичайно, нафта одного разу скінчиться. Але коли і до яких наслідків, ніхто точно сказати не може. Знання про минуле минулого ще не гарантує пізнання майбутнього.

Якщо поглянути на ринок з точки зору теорії хаосу, то стає зрозуміло, що будь-які довгострокові прогнози неможливі.

Особливо складно передбачити вплив інновацій. Мова не про те, що передбачити наукові відкриття або технологічні прориви складно (їх можна прогнозувати). Складніше передбачити інноваційні бізнес-процеси. Для появи лоу-кост авіакомпаній не знадобився технологічний прорив, новим став тільки бізнес процес.

Що робити?

Є тільки один шлях, щоб бути впевненими в своїх прогнозах. Потрібно досить часто їх переглядати реагуючи на зміни. Ми вважаємо, хорошим тоном таку перевірку проводити як мінімум у 2-4 рази частіше, ніж часові період прогнозу. Тобто якщо прогноз будувався на 5 років, то переглядати його потрібно мінімум раз на півроку.

Ігнорування ірраціональності

Люди поводяться нераціонально, але це не головна проблема. Найбільша складність для побудови прогнозу в тому, що іноді ірраціональність зрозуміла, а іноді — ні.

Як, наприклад, оцінити в кількісному вираженні вплив соціально-психологічних факторів?

Електромобілі купують не тільки через те, що бензин дорожче електрики, але і піклуючись про екологію, а ще через те що це модно і тому, що існують державні програми стимулюючі попит з боку покупців і інтерес з боку інвесторів. Який з цих фактів буде домінуючим через рік?

Через скандал з виробництвом кросівок, Nike втратила 13% прибутку в США і 35% в країнах Азії. Але не дивлячись на “дізельгейт” продажі Volkswagen в 2016 році зросли і компанії навіть вдалося трохи обігнати Toyota.

Що робити?

Насправді, те що здається нераціональним і дивним аналітику, для конкретного споживача цілком логічно. Неможливо опитати всіх учасників ринку сьогодні, неможливо точно передбачити як зміниться їх позиція завтра.

Але мати на увазі фактор нераціональності поведінки ринку та змоделювати декілька нелогічних варіантів цілком можливо. Зазвичай цього цілком достатньою, щоб бути готовим до більшості випадків.

Любов до екстраполяції

Найбільший “гріх” аналітика, який можна собі уявити. Не коректно просто продовжити графік в майбутнє на підставі даних з минулого і розраховувати, що саме так все і станеться. В такому випадку можна бути впевненим тільки в тому, що прогноз не збудеться і швидше за все відхилення буде в гіршу сторону.

Нам властиво сприймати більшість процесів і залежностей як лінійні і до того ж рівноприскорені, це небезпечне спрощення, реальність складніша.

Що робити?

Екстраполяція “працює” тільки на дуже короткій дистанції. Зазвичай ми розглядаємо кілька сценаріїв (більше стандартних 3-х: гарний, поганий і середній) і пропонуємо рішення для кожного з них. Такий підхід допомагає покрити досить велику кількість варіантів розвитку подій і бути готовим до більшості з них.

Список ефектів спотворення сприйняття описані вище, звичайно, не повний. Але ми впевнені, що кожен хто просто задумається над проблемою забезпечення об’єктивності з легкістю зможе виявити в своїй сфері діяльності подібні викривлення сприйняття.

Зазвичай навіть простого знання про джерело ймовірної необ’єктивності робить аналітика біль точним, а прийняті рішення більш зваженими.

* Теорія перспектив — економічна теорія створена Даніелем Канеманом і Амосом Тверські, що описує поведінку людей при прийнятті рішень, пов’язаних з оцінкою ризиків.

Якщо ви знайшли помилку, будь ласка, виділіть фрагмент тексту та натисніть Ctrl+Enter.

Читайте корисні статті та новини. Поширюйте їх соціальни мережами.
0 Шейрів

Повідомити про помилку

Текст, який буде надіслано нашим редакторам: