Елена серёгина
Иерархия метрик VS Пирамида метрик. А также что такое North Start Metrics (метрики Всевластия) — учим матчасть
Сейчас очень популярно работать с данными и метриками. В том числе строить иерархии метрик. Однако "Пирамида метрик", "Иерархия метрик", "North Start Metrics" — не просто слова. Это названия мощных методик. И если Вы их неправильно понимаете, или пытаетесь придумать заново, вероятнее всего Вы тратите время не достаточно эффективно.
1
Иерархия Метрик
Кто придумал? Бессмысленно спорить. Ребенок примерно в 9–14 месяцев решает, что ходить прямо — круто, и идет. Менеджер digital-продукта примерено через то же время работы с аналитикой понимает, что следует привести метрики в порядок и делает это. Так появляется его Иерархия Метрик. Она есть почти во всех продуктах, где старший возраст дэшборда более года.
Иерархия Метрик есть почти во всех продуктах, где старший возраст дэшборда более года.
Кроме шуток. В допещерные времена (в случае Аналитики в России речь идет о временах 5–10 лет назад) Иерархию Метрик делали только в технически развитых конторах (например, Яндекс) и только для флагманских продуктов (например, для Поиска). Зачем?

Дело в том, что если у Интернет-магазина игрушек например какая-нибудь кнопка после релиза изменит свою конверсию с 0,12% на 0,11% вряд ли кто-то что-нибудь заметит в плане не только месячной, но и даже годовой выручки. А вот в Amazon заметят, причем быстро. А там еще акционеры. И будет совсем больно.

Именно поэтому в массовых продуктах, где любой релиз — это огромные риски, есть приемка релизов. Нельзя просто так взять и выкатить в продакшен. Ребята из Яндекса про это уже рассказывали наружу (есть на Youtube). Я не говорю ничего нового. Для приемки релизов придумали и создали Иерархию Метрик.

Зачем? Иерархия Метрик позволяет

  1. локализовать причины изменений на графиках важных метрик ("расследовать аномалии")
  2. не выкатывать изменения, которые могут навредить всей компании (правило: метрики верхнего уровня не должны просесть, даже если целевая метрика релиза выросла).
Иерархия Метрик — это больше, чем древовидная структура метрик. В 2012 году я впервые услышала об Иерархии Метрик на втором потоке ШМЯ (Школы Менеджеров Яндекса) от большого ученого (математика) и руководителя качества Поиска на тот момент — Дениса Расковалова. Честно скажу, но даже мое физтеховское образование не помогло. За 10–15 минут понять эту тему глубоко не удалось.

Многие сейчас пропагандируют Иерархию Метрик. Но это просто древовидные структуры. "Вот смотрите LTV, он зависит от Retention, определим между ними связь". Я смею утверждать, что это немного не то. Таким образом выстроенная Иерархия Метрик — не более, чем мыслеобраз. Хотя для Интернет-магазина игрушек — уже не плохо.

Если вы уже как Amazon или движетесь в его сторону, придется применить научный подход к построению Иерархии Метрик.Сразу признаюсь, никогда не делала Иерархию Метрик как у Дениса. Но её построение означает, что вы не просто обозначите связи между дублирующими друг друга по смыслу и не выдерживающими критики метриками, а как минимум

1) докажете эти связи по данным,

2) изучите чувствительность метрик,

3) сделаете ревью метрик (глазами людей, которые умеют писать и проверять формулы).

Древовидные структуры метрик — не более, чем мыслеобраз. Чтобы это стало Иерархией метрик, надо применить научный подход и анализ данных.
2
Пирамида Метрик
Разнообразные "пирамиды метрик" глазами Google
Кто придумал? Я придумала Пирамиду Метрик в 2017 году и была довольна собой. Пока не погуглила. Оказалось, к парадигма"Пирамида метрик" приходят многие (читай все)аналитики. Ровно также, как примерно к двух годам ребенок начинает собирать пирамидку из 3–5 колец.

Что же такое Пирамида Метрик?

Пирамида Метрик

это Иерархия и Классификация метрик.

Если продукт — не Amazon, то иерархия значит хотя бы обозначить связи между метриками или создать некую древовидную структуру. Так как это редко дает значимые эффекты для порядка в аналитике или управлении изменениями на основе данных, то мы добавляем классификацию.

Зачем нужна классификация?

Во-первых, классификация помогает убрать гиперфокусировку команды на одном из множества процессов. Во время аудита метрик и дэшбордов мы можем выяснить, что команда думает только об изменении микроэкономических показателей или только об интерфейсе.

1
Во-первых, классификация помогает убрать гиперфокусировку команды на одном из множества процессов. Во время аудита метрик и дэшбордов мы можем выяснить, что команда думает только об изменении микроэкономических показателей или только об интерфейсе.
мой воркшоп по аналитике на ProductSense 2019
2
Во-вторых, классификация помогает создать базовую иерархию, так как слои Пирамиды Метрик выставлены в иерархическом порядке.
Конспект моей лекции во ВШЭ одной из студенток (февраль 2019)
3
В-третьих, классификация здорово помогает очертить зоны ответсвенности за рост показателей, грамотно выбрать KPI и собрать дэшборды каждой команде в компании, не заставляя их растить некую бессмысленную для всех подряд Метрику Всевластия.

Есть и другие бенефиты, но пока остановимся на трех.
Как сделать Пирамиду метрик
  1. Аудит метрик и/или брейнсторм - на что уже смотрим и на что хотим смотреть
  2. Классификация метрик по Пирамиде - убираем гиперфокус, добавляем базовую иерархию
  3. Связи между метриками на уровне мыслеобраза
  4. Ревью метрик на основе опыта и методологии из Lean Analytics.
  5. Изучить метрики на базовом уровне: (I) распределение случайных величин, (II) соотнести метрики с результатами качественных исследований (например, Customer Development)
  6. Если надо, проверить иерархию, используя статистику и эксперименты.
  7. Если не надо настоящей Иерархии Метрик, то п.3 пропускаем. И переходим к дэшбордам.
Для дэшбордов у меня тоже есть своя пирамида количества метрик на дэшборде. Но коротко вот так:

Количество метрик на дэшборде зависит от необходимой скорости реагирования на их изменения, команды заказчиков и стадии развития бизнеса.

3
North Start Metrics (метрики Всевластия)
North Start Metric (NSM) — это метрика Всевластия, или такая крутая метрика, глядя на которую Вы неминуемо придете к успеху. Есть хорошая статья про NSM на VC — https://vc.ru/flood/26005-north-star-metric

На самом деле, несмотря на то, что NSM — отчасти утопия, для конкретной фичи или задачи можно найти не просто хорошую, а очень хорошую метрику (NSM, метрику Всевластия). У меня были такие кейсы в практике.

Но что важно знать про NSM. Метрика Всевластия — это гипотеза, начиная от того, что её можно найти и формализовать, и заканчивая тем, что это Вам поможет. Если все круто, и Вам однажды хорошо помогла одна метрика, NSM, главное не превратить работу всей компании BDSM по росту NSM. Что лично я и наблюдала, активно занимаясь консультациями по аналитике в некоторых ИТ-компаниях .
Если … Вам однажды круто помогла одна метрика, NSM, главное не превратить работу всей компании в BDSM по росту NSM.
Как North Start Metric связана с пирамидой метрик и иерархией метрик?

Как Вы наверное уже догадались, прежде всего и практические только словом "метрика". NSM можно найти с помощью любой системы метрик. Хотя скажу по секрету, это не самый простой и успешный путь.

Делать Иерархию или Пирамиду метрик вокруг NSM можно, но надо понимать, что это уже другие Иерархии или Пирамиды. Пирамида метрик помогает не допустить возникновения гиперфокуса, который несет опасность для развития компании. Пирамида метрик вокруг NSM работает наоборот.

Пирамида метрик помогает не допустить возникновения гиперфокуса, который несет опасность для развития компании. Пирамида метрик вокруг NSM работает наоборот.
https://t.me/close2sense