Аналитика: темы

Precision, recall

precision, recall, F1, ROC-AUC

14 формул

Таблица формул

Формула	Запись	Тема	Для чего нужна
Accuracy как доля правильных классификаций	$\mathrm{Accuracy}=\frac{TP+TN}{TP+TN+FP+FN}$	Precision, recall	Accuracy - доля верных ответов среди всех объектов. Метрика быстро показывает общий уровень классификации, но хорошо читается только при сопоставимых классах и близкой цене ложных тревог и пропусков.
Precision для положительного класса	$\mathrm{Precision}=\frac{TP}{TP+FP}$	Precision, recall	Precision показывает, какая часть объектов, помеченных моделью как положительные, действительно положительна. Метрика важна, когда ложные срабатывания дороги: модерация, лиды, диагностика, ручная проверка.
Recall для положительного класса	$\mathrm{Recall}=\frac{TP}{TP+FN}$	Precision, recall	Recall показывает, какую долю настоящих положительных объектов модель нашла. Метрика важна, когда опаснее пропустить нужный случай, чем получить лишнее срабатывание: риск, дефекты, заявки.
F1-мера классификации для баланса precision и recall	$F_1=\frac{2\cdot Precision\cdot Recall}{Precision+Recall}$	Precision, recall	F1 объединяет precision и recall через гармоническое среднее. Метрика полезна, когда нужно одним числом балансировать ложные срабатывания и пропуски, но true negative в расчет не входит.
Specificity классификатора	$\mathrm{Specificity}=\frac{TN}{TN+FP}$	Precision, recall	Specificity показывает, какую долю настоящих отрицательных объектов модель оставила отрицательными. Метрика дополняет recall и важна там, где надо ограничить ложные тревоги при фиксированном положительном классе.
ROC AUC через пары объектов	$\mathrm{AUC}=\frac{N_{concordant}+0.5N_{tied}}{N_{positive}N_{negative}}$	Precision, recall	ROC AUC оценивает ранжирование: насколько часто положительный объект получает скор выше отрицательного. Метрика не зависит от одного порога, но требует корректных скорингов и выбранного положительного класса.
Lift модели классификации	$\mathrm{Lift}=\frac{\text{response rate in selected group}}{\text{overall response rate}}$	Precision, recall	Lift показывает, во сколько раз выбранный моделью сегмент богаче целевыми объектами, чем вся база. Метрика полезна для CRM, маркетинга и скоринга, где важен верхний процент списка, а не общий порог.
Матрица ошибок бинарной классификации	$N=TP+TN+FP+FN$	Precision, recall	Матрица ошибок раскладывает бинарные решения на TP, TN, FP и FN. Это исходная таблица для accuracy, precision, recall, specificity и F1, поэтому сначала проверяют класс, порог и сумму ячеек.
Критерий хи-квадрат независимости	$\chi^2=\sum\frac{(O-E)^2}{E}$	Описательная статистика	Критерий хи-квадрат независимости: формула \chi^2=\sum\frac{(O-E)^2}{E} помогает величины chi, O, E заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.
Коэффициент V Крамера для таблицы сопряженности	$V=\sqrt{\frac{\chi^2}{n(k-1)}}$	Описательная статистика	Коэффициент V Крамера для таблицы сопряженности: формула V=\sqrt{\frac{\chi^2}{n(k-1)}} помогает требуется требуется требуется требуется требуется требуется оценить силу связи в категориальной таблице. В тексте есть условия, пример, ошибки и проверка результата.
Precision, recall и F1 для классификации	$F_1=\frac{2PR}{P+R}$	Продуктовые метрики	Precision, recall и F1 для классификации: формула F_1=\frac{2PR}{P+R} помогает требуется требуется требуется требуется требуется важны и точность, и полнота. В тексте есть условия, пример, ошибки и проверка результата.
ROC AUC методом трапеций по точкам	$AUC=\sum\frac{TPR_i+TPR_{i-1}}{2}(FPR_i-FPR_{i-1})$	Продуктовые метрики	ROC AUC методом трапеций по точкам: формула AUC=\sum\frac{TPR_i+TPR_{i-1}}{2}(FPR_i-FPR_{i-1}) помогает величины AUC, TPR, FPR заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.
Binary log loss для вероятностной классификации	$L=-\frac1n\sum(y\log p+(1-y)\log(1-p))$	Продуктовые метрики	Binary log loss для вероятностной классификации: формула L=-\frac1n\sum(y\log p+(1-y)\log(1-p)) помогает величины L, n, y, p заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.
Brier score для вероятностного прогноза	$BS=\frac1n\sum(p_i-y_i)^2$	Продуктовые метрики	Brier score для вероятностного прогноза: формула BS=\frac1n\sum(p_i-y_i)^2 помогает величины BS, p_i, y_i, n заданы для одной и той же ситуации, периода или объекта. В тексте есть условия, пример, ошибки и проверка результата.