Машинное обучение

Что произойдёт с метриками, если уменьшить порог классификации?

1. Precision ↑, Recall ↓  
2. Precision ↓, Recall ↑  
3. Обе метрики увеличатся  
4. Обе метрики уменьшатся

Если Precision = 90% и Recall = 90%, чему равна F1-мера?

1. 90%  
2. 80%  
3. 95%  
4. 85%

F1-мера — это:

1. Среднее арифметическое Precision и Recall  
2. Гармоническое среднее Precision и Recall  
3. Максимум из Precision и Recall  
4. Произведение Precision и Recall

Recall ещё называют:

1. Точность  
2. Чувствительность (или Полнота)  
3. Специфичность  
4. F-мера

На какой вопрос отвечает метрика Precision?

1. Сколько положительных объектов мы нашли из всех?  
2. Когда модель говорит "да", как часто она права?  
3. Сколько всего правильных ответов?  
4. Сколько ошибок первого рода мы допустили?

Что измеряет метрика Accuracy?

1. Процент правильных предсказаний класса 1  
2. Процент правильных предсказаний от всех предсказаний  
3. Процент найденных положительных объектов  
4. Точность положительных предсказаний

Модель для поиска вирусов проверила файл. Файл оказался чистым, и модель правильно определила это. Как называется этот исход?

1. True Positive (TP)  
2. False Positive (FP)  
3. True Negative (TN)  
4. False Negative (FN)

Что означает True Positive (TP)?

1. Модель правильно предсказала класс 1  
2. Модель ошибочно предсказала класс 1  
3. Модель правильно предсказала класс 0  
4. Модель ошибочно предсказала класс 0

Напиши программу для анализа качества классификации.

Входные данные:

Первая строка: n — количество примеров

Вторая строка: n чисел — реальные классы (0 или 1)

Третья строка: n чисел — предсказанные классы (0 или 1)

 

Выходные данные:

Выведи через пробел (округли до 2 знаков):

1. Accuracy

2. Precision

3. Recall

4. F1-score

 

Примечания:

- Если Precision или Recall считать невозможно (деление на 0), выведи 0.00

- Формат вывода: 0.87 0.92 0.85 0.88 (4 числа через пробел)

По заданным параметрам: коэффициенту модели (w), свободному члену (b), температуре(t) и порогу принятия решения (p) определите и выведите на экран значения z, p, класс (1-болен/0-здоров/? - граница)

Формат входных данных
4 вещественных числа, каждое в отдельной строке:
w - коэффициент модели 
b - свободный член
t - температура пациента 
p - порог принятия решения

Формат выходных данных
Выведите три числа через пробел: z (вещественное число с точностью до сотых), p (вещественное число от 0 до 1 с точностью до сотых), класс (1-болен/0-здоров/? - граница)

Когда log-loss будет БОЛЬШИМ (модель ошиблась сильно)?

1.  Предсказали p=0.9, реальный класс y=1
2.  Предсказали p=0.5, реальный класс y=0
3.  Предсказали p=0.1, реальный класс y=0
4.  Предсказали p=0.1, реальный класс y=1

Что означает log-loss = 0.8?

1.  Модель работает хорошо
2.  Модель работает удовлетворительно
3.  Модель работает плохо, хуже случайного
4.  Модель работает идеально

Что означает log-loss = 0.05?

1.  Модель работает очень плохо
2.  Модель работает отлично
3.  Модель работает на уровне случайного угадывания
4.  Нужно больше данных

Может ли сигмоида вернуть значение 1.8?

1.  Да, если z очень большое
2.  Нет, максимум 1
3.  Да, если x > 100
4.  Зависит от параметров w и b

Чему равна сигмоида при z = 0?

1.  0
2.  0.5
3.  1
4.  Зависит от данных

Почему линейная регрессия не подходит для классификации?

1.  Она слишком сложная
2.  Она может выдавать значения вне диапазона [0, 1]
3.  Она не может работать с числами
4.  Она всегда ошибается

Каким должен быть порог, чтобы поймать ВСЕ спам-письма (Recall = 100%)?

Выберите правильный ответ

1. 0.3
2. 0.4
3. 0.43
4. 0.5

 

Если для задачи модерации комментариев важнее НЕ удалять нормальные комментарии (меньше ложных тревог), какую модель ты выберешь и почему?

1. Модель 1 — у неё выше F1
2. Модель 2 — у неё выше Precision
3. Обе подходят одинаково
4. Ни одна не подходит

У тебя есть две модели для детекции мошеннических транзакций:

Модель A:

• Accuracy: 95%
• Из 1000 мошеннических транзакций нашла 900
• Из 99,000 нормальных транзакций правильно определила 94,100

Модель B:

• Accuracy: 98%
• Из 1000 мошеннических транзакций нашла 100
• Из 99,000 нормальных транзакций правильно определила 97,900

Вопрос: Какую модель лучше использовать для банка и почему?

Тип: Выбор одного ответа с пояснением

1. Модель A — у неё ниже Accuracy, но она находит больше мошенников
2. Модель B — у неё выше Accuracy, значит она лучше
3. Обе модели одинаково хороши
4. Нельзя определить без дополнительных данных