Сигмоида: как из числа сделать вероятность

Вопрос: Как превратить любое число в вероятность?

Ответ: Использовать специальную функцию, которая:

• Берёт любое число (положительное, отрицательное, большое, маленькое)

• Выдаёт результат строго между 0 и 1​

• Плавно переходит от 0 к 1 (без резких скачков)

Эта функция называется сигмоида (или логистическая функция).
 

Формула сигмоиды

Сигмоида записывается так :​

\(p = \sigma(z) = \frac{1}{1+e^{-z}}\)

Где:

• z — любое число ( результат линейного уравнения (линейной функции), которое вычисляет модель на основе признаков объектат: \(z=w⋅x+b\))
• e — математическая константа (число Эйлера, e≈2.718)
• σ(z) — результат (вероятность от 0 до 1)

Давайте посчитаем сигмоиду для разных значений zz :​

Пример 1: Большое положительное число (z=5)
\(p = \sigma(5) = \frac{1}{1+e^{-5}} \approx \frac{1}{1+0.0067} \approx 0.993\)

Вероятность ≈ 99.3% — почти точно класс 1!

Почему так? Когда z большое и положительное, e^−z становится очень маленьким (близким к нулю), поэтому знаменатель и вся дробь стремится к 1.​

Пример 2: Ноль (z=0)
\(p = \sigma(0) = \frac{1}{1+e^{0}} = \frac{1}{1+1} = 0.5\)

Вероятность = 50% — граница между классами.​

Пример 3: Большое отрицательное число (z=−5)
\(p = \sigma(-5) = \frac{1}{1+e^{5}} \approx \frac{1}{1+148.4} \approx 0.007\)

Вероятность ≈ 0.7% — почти точно класс 0!

Почему так? Когда z большое и отрицательное, e^−z становится очень большим, поэтому знаменатель огромный, и вся дробь стремится к 0
 

График сигмоиды

График имеет форму буквы «S» — отсюда название «сигмоида».​

Ключевые свойства сигмоиды

Свойство 1: Всегда в диапазоне [0; 1]​

Независимо от того, какое число z вы подадите на вход, результат всегда будет между 0 и 1 :​

\(0 < σ(z) < 1 \ для \ любого \ z\)

Это позволяет интерпретировать результат как вероятность.​

Таблица примеров:

​

Свойство 2: S-образная форма

График сигмоиды имеет форму буквы «S» — плавно возрастает от 0 до 1.​

Логистическая функция моделирует кривую роста вероятности некоего события по мере изменения управляющих параметров (факторов риска).​
 

Свойство 3: Симметрия относительно точки (0, 0.5)

Сигмоида симметрична относительно центра :​

\(\sigma(−z)=1−\sigma(z)\)

Пример:

• σ(2)≈0.88

• σ(−2)≈0.12

• Проверка: 0.88+0.12=1.00 ✓

Это значит, что если z=2 даёт вероятность класса 1 равную 0.88, то z=−2 даёт вероятность класса 0 равную 0.88 (или класса 1 равную 0.12).

Свойство 4: Три зоны уверенности

Сигмоиду можно разделить на три зоны :​

В средней зоне модель максимально чувствительна к изменениям z, а на краях (в зонах насыщения) чувствительность падает.​

Почему именно эта формула?

Сигмоида выбрана не случайно! Она возникает естественным образом из теории вероятностей.​

Если предположить, что целевая переменная y распределена по закону Бернулли (да/нет), то метод максимального правдоподобия приводит именно к сигмоидной функции.​

Математически:
\(P(y=1∣x)=\sigma(w^⊤x+b)\)
"Вероятность того, что y равно 1, при условии что мы знаем x."

• w — вектор весов (коэффициентов) модели

• x — вектор признаков объекта

• ⊤ — символ транспонирования (переворачивает вектор из столбца в строку или наоборот)

• w^⊤x — скалярное произведение двух векторов

Это означает, что сигмоида — это оптимальный способ превратить линейный счёт в вероятность для бинарной классификации.​
 

Почему транспонирование?

Формально, чтобы умножить вектор-строку на вектор-столбец и получить число (скаляр), нужно транспонировать один из них. Это математическое соглашение из линейной алгебры

Производная сигмоиды

Сигмоида обладает очень красивым свойством: её производная выражается через саму функцию :​

\(\sigma′(z)=\sigma(z)⋅(1−\sigma(z))\)

Почему это важно?​

• Упрощает вычисление градиентов при обучении модели

• Делает градиентный спуск эффективным

• Позволяет быстро обновлять параметры w и b

• Производная выражается через уже вычисленное значение самой функции, что экономит время​

График производной:

Производная максимальна при z=0 (там, где σ(z)=0.5), и стремится к нулю на краях

 Сигмоида в действии