Машинное обучение

Вы уже научились вычислять сигмоиду и log-loss. Теперь пришло время собрать всё вместе и написать полноценный градиентный спуск для логистической регрессии!

Ваша задача — написать программу, которая находит оптимальные параметры w и b для логистической регрессии с помощью градиентного спуска.

Что нужно сделать:

1. Начать с начальных значений w = 0 и b = 0

2. На каждой итерации (эпохе):

   • Вычислить предсказания: z=w⋅X+b, затем p=σ(z)

   • Вычислить градиенты по формулам: 
     \[ \frac{\partial \text{Loss}}{\partial w} = \frac{1}{n} \sum_{i=1}^{n} (p_i - y_i) \cdot x_i \]
     \[ \frac{\partial \text{Loss}}{\partial b} = \frac{1}{n} \sum_{i=1}^{n} (p_i - y_i) \]

     Обновить параметры:
     \[ w = w - \alpha \cdot \frac{\partial \text{Loss}}{\partial w} \]
     \[ b = b - \alpha \cdot \frac{\partial \text{Loss}}{\partial b} \]

3. Повторить указанное количество итераций

4. Вернуть найденные параметры и историю ошибок

Параметры алгоритма:

• Скорость обучения (alpha): задаётся во входных данных
• Количество итераций (epochs): задаётся во входных данных
• Для вычисления вероятности также используйте  y_pred = np.clip(y_pred, 1e-15, 1 - 1e-15)

---

Формат входных данных

Первая строка: признаки (вещественные числа, разделённые пробелом)
Вторая строка: правильные классы (0 или 1, разделённые пробелом)
Третья строка: скорость обучения (вещественное число) и количество итераций (целое число), разделённые пробелом

Формат выходных данных

Выведите три числа, каждое в отдельной строке:

Вы работаете с простым датасетом, где нужно предсказать класс (0 или 1) по одному признаку. Например, предсказываем, болен ли человек (1) или здоров (0) по температуре тела.

У вас есть:

• Массив признаков X (например, температуры)

• Массив правильных ответов y (0 или 1)

Вам нужно найти лучшие значения коэффициента w и свободного члена b методом полного перебора, чтобы минимизировать log-loss.

Алгоритм

1. Переберите все возможные значения w от -2 до 2 с шагом 0.1
2. Переберите все возможные значения b от -10 до 10 с шагом 0.5
3. Для каждой пары (w, b):
   • Посчитайте линейную комбинацию: z=w⋅X+b
   • Примените сигмоиду: p=σ(z)
   • Посчитайте log-loss
4. Выберите пару (w, b) с минимальным log-loss

Важные детали

• Используйте функцию сигмоиды
• Для расчёта log-loss используйте формулу:
  • \(\text{Log-Loss} = -\frac{1}{n}\sum_{i=1}^{n} \left(y_i \cdot \log(p_i) + (1 - y_i) \cdot \log(1 - p_i)\right)\)
• Чтобы избежать ошибок с логарифмом нуля, ограничьте вероятности: p = np.clip(p, 1e-15, 1 - 1e-15)
• Bспользуйте np.arrange() для работы с вещественным шагом, вместо range()

Формат входных данных

На вход подаётся:

• в первой строке признаки (например, температуры): вещественные числа, разделенные одним пробелом
• во второй строке правильные классы для каждого признака соответственно  (0 или 1).

 Формат выходных данных

Выведите три числа, каждое в отдельной строке:

1. best_w — лучшее значение коэффициента (float, с точностью до сотых)

2. best_b — лучшее значение свободного члена (float, с точностью до сотых)

3. min_loss — минимальное значение log-loss (float, с точностью 4 знака после запятой)

Классификация пациентов по температуре

Дана модель логистической регрессии для предсказания вероятности болезни пациента на основе его температуры тела. Модель использует сигмоидную функцию:
 \(p =\frac{1}{1+e^{-(w \cdot t + b)}}\)
где t — температура пациента, w и b — параметры модели.​

Пациент считается больным, если вероятность болезни P≥0.5.​

Формат входных данных

• В первой строке через пробел вводятся два вещественных числа: w и b — параметры модели

• Во второй строке вводится целое число n — количество пациентов (1≤n≤100)

• В следующих n строках вводятся вещественные числа — температуры пациентов

Формат выходных данных
Для каждого пациента, который относится к классу "болен", вывести в отдельной строке два числа через пробел: его температуру и вероятность болезни (тольцо целую часть вероятности - без округления). Строки выводить в порядке возрастания температуры пациента.

Что делает df['col'].quantile(0.9)?

1. берёт 9 случайных значений
2. возвращает топ-10 строк
3. умножает столбец на 0.9
4. возвращает значение, ниже которого находится 90% данных

Какие выражения найдут страны, которые НЕ из Европы?
(I) df[df['Region'] != 'Европа']
(II) df[~(df['Region'] == 'Европа')]

1. только I
2. только II
3. оба варианта верны
4. ни один не верен

Что вернёт выражение len(df[df['Region'] == 'ASIA'])?

1. список стран Азии
2. количество стран Азии
3. таблицу со столбцом Region
4. ошибку, потому что нет .count()

Какую диаграмму использовать, чтобы найти связь между временем учёбы и оценкой?

1. Круговую
2. Столбчатую
3. Линейную
4. Точечную (scatter)

Какую диаграмму выбрать для сравнения продаж по регионам?

1. Линейную
2. Круговую
3. Столбчатую
4. Точечную

По правилу третей, где лучше размещать ключевой элемент?

1. Строго в центре
2. В углу
3. На пересечении линий третей

Принцип близости (proximity) означает:

1. Все элементы должны быть на одинаковом расстоянии
2. Связанные элементы располагаются рядом друг с другом
3. Элементы должны быть как можно дальше друг от друга

Как создать иерархию с помощью размера?

1. Сделать все элементы одинакового размера
2. Важные элементы — крупнее, второстепенные — мельче
3. Мелкие элементы привлекают больше внимания

Как изменение параметра minPts влияет на форму k-distance графика и выбор εε?

1. При увеличении minPts k-расстояния уменьшаются, и локоть смещается к нулю
2. minPts влияет только на итоговые кластеры и никак не связан с k-distance графиком
3. При увеличении minPts k-расстояния, как правило, возрастают, и локоть смещается вправо и вверх
4. Изменение minPts вообще не рекомендуется, он всегда фиксирован

Как выбор параметра k (количество соседей для k-distance) связан с параметром minPts в DBSCAN?

1. Часто выбирают k=minPts или k=minPts−1
2. Обычно выбирают k=1, независимо от minPts
3. Связи между k и minPts нет, они подбираются совершенно независимо
4. k всегда должен быть намного больше minPts

Зачем сортировать k-расстояния по возрастанию перед построением k-distance графика?

1. Чтобы разнесённые во времени наблюдения шли подряд
2. Чтобы визуально выделить резкий переход от плотных областей к шуму
3. Чтобы получить симметричный график относительно середины
4. Чтобы можно было напрямую прочитать индексы кластеров

На k-distance графике по оси абсцисс отложены отсортированные объекты датасета. Что обычно показывается по оси ординат?

Выберите верный вариант ответа

1. Расстояние до ближайшего соседа k=1 для каждого объекта
2. Индекс объекта в исходном порядке выборки
3. Среднее расстояние от объекта до всех других объектов
4. Расстояние до k-го ближайшего соседа для каждого объекта

Дано: eps = 2, minPts = 3
Точки: A(1, 1),  B(2, 1),  C(3, 1),  D(10, 10)

Какой тип у точки D?

Выберите верный вариант ответа

1. Ядровая точка
2. Граничная точка
3. Шумовая точка
4. Невозможно определить

Посмотрите на эти данные:

Данные:

   ●●●●●●●●●

  ●●●●●●●●●●●

 ●●●●     ●●●●

●●●●        ●●●●

 ●●●        ●●●

  ●●        ●●

   ●        ●

(форма буквы "C")

Если применить k-means с k=2, какой результат наиболее вероятен?

Выберите верный вариант ответа:

1. K-means правильно найдёт кластер в форме "C"
2. K-means разделит "C" на левую и правую части
3. K-means не сможет работать с такими данными
4. K-means найдёт только один кластер

Реализуйте алгоритм k-means для одномерных данных (только координата x).

Для одномерных данных расстояние между точками вычисляется как модуль разности: |x₁ - x₂|

При равном расстоянии до нескольких центров точка присваивается кластеру с меньшим номером.

 

Формат входных данных

- Первая строка: два целых числа n и k (1 ≤ k ≤ n ≤ 1000) — количество точек и кластеров

- Вторая строка: n целых чисел через пробел — значения точек (−10⁶ ≤ xᵢ ≤ 10⁶)

- Третья строка: k вещественных чисел через пробел — начальные центры кластеров

 

Формат выходных данных

- Первая строка: k вещественных чисел — финальные центры кластеров (округлённые до 1 знака после запятой)

- Вторая строка: n целых чисел — номер кластера (0-индексация) для каждой точки в порядке их появления во входных данных

Учёный решил провести кластеризацию множества звёзд по их расположению на карте звёздного неба. Кластер звёзд — это набор звёзд (точек), лежащих внутри прямоугольника высотой H и шириной W. Каждая звезда принадлежит ровно одному кластеру. Центроид кластера — это одна из звёзд кластера, сумма расстояний от которой до всех остальных звёзд этого кластера минимальна. Расстояние между звёздами вычисляется по формуле Евклида: \(d = \sqrt{(x_2 - x_1)^2 + (y_2 - y_1)^2}\)

Вам дан список координат звёзд и количество кластеров k. Известно, что все кластеры имеют размер \(H \times W\) и чётко разделены (расстояние между кластерами значительно больше их размера).

Необходимо:

1. Разделить звёзды на k кластеров

2. Найти центроид каждого кластера

3. Вычислить \(P_x\) — среднее арифметическое x-координат всех центроидов

4. Вычислить \(P_y\) — среднее арифметическое y-координат всех центроидов

5. Вывести результат в заданном формате

 

Формат входных данных

- Первая строка содержит два целых числа n и k (\(1 \le n \le 1000\), \(1 \le k \le 10\)) — количество звёзд и количество кластеров.

- Вторая строка содержит два вещественных числа H и W — размеры каждого кластера.

- Следующие n строк содержат по два вещественных числа \(x_i\)и \(y_i\) (\(-10^6 \le x_i, y_i \le 10^6\)) — координаты звёзд.

 

Формат выходных данных

Выведите два целых числа через пробел:

- Целую часть от \(|P_x \times 10000|\)

- Целую часть от \(|P_y \times 10000|\)

где |x| обозначает абсолютное значение числа x.