Метрики качества модели

1. Процент правильных предсказаний класса 1  
2. Процент правильных предсказаний от всех предсказаний  
3. Процент найденных положительных объектов  
4. Точность положительных предсказаний

1. True Positive (TP)  
2. False Positive (FP)  
3. True Negative (TN)  
4. False Negative (FN)

1. Модель правильно предсказала класс 1  
2. Модель ошибочно предсказала класс 1  
3. Модель правильно предсказала класс 0  
4. Модель ошибочно предсказала класс 0

1.  Предсказали p=0.9, реальный класс y=1
2.  Предсказали p=0.5, реальный класс y=0
3.  Предсказали p=0.1, реальный класс y=0
4.  Предсказали p=0.1, реальный класс y=1

1.  Модель работает хорошо
2.  Модель работает удовлетворительно
3.  Модель работает плохо, хуже случайного
4.  Модель работает идеально

1.  Модель работает очень плохо
2.  Модель работает отлично
3.  Модель работает на уровне случайного угадывания
4.  Нужно больше данных

1. Модель 1 — у неё выше F1
2. Модель 2 — у неё выше Precision
3. Обе подходят одинаково
4. Ни одна не подходит

У тебя есть две модели для детекции мошеннических транзакций:

Модель A:

• Accuracy: 95%
• Из 1000 мошеннических транзакций нашла 900
• Из 99,000 нормальных транзакций правильно определила 94,100

Модель B:

• Accuracy: 98%
• Из 1000 мошеннических транзакций нашла 100
• Из 99,000 нормальных транзакций правильно определила 97,900

Вопрос: Какую модель лучше использовать для банка и почему?

Тип: Выбор одного ответа с пояснением

1. Модель A — у неё ниже Accuracy, но она находит больше мошенников
2. Модель B — у неё выше Accuracy, значит она лучше
3. Обе модели одинаково хороши
4. Нельзя определить без дополнительных данных