Статья Автор: Сухолита Артемий

Итоговая работа, научный анализ базы данных

Итоговый проект
Научный анализ базы данных "Daily SunSpot Data (1818 - 2019)"
Сухолита Артемий
28.04.2026

Выбранный dataset:

Daily SunSpot Data (1818 to 2019). Это данные о солнечной активности за последние 200 лет. Взят с www.kaggle.com. В нем более 70000 строк, 9 столбцов. Меня зацепило то, что раньше (до начала развития энергосистем) исследование активности солнца не приносило абсолютно никакой практической пользы, однако люди собирали статистические данные о солнце и
находили закономерности.

#код для подсчета базовых статистик

import pandas as pd
import numpy as np

df = pd.read_csv('sunspot_data.csv')

# ==============================================================================
# 1. ПОДСЧЁТ ОТФИЛЬТРОВАННЫХ ПО ОТДЕЛЬНОСТИ
# ==============================================================================
count_obs_zero = (df['Observations'] == 0).sum()
count_ind_zero = (df['Indicator'] == 0).sum()
count_both_zero = ((df['Observations'] == 0) & (df['Indicator'] == 0)).sum()

print("АНАЛИЗ ПРОПУСКОВ (ПО ОТДЕЛЬНОСТИ)")
print(f"   Дней с Observations == 0 : {count_obs_zero}")
print(f"   Дней с Indicator == 0    : {count_ind_zero}")
print(f"   Совпадают (оба == 0)     : {count_both_zero}")
print()

# ==============================================================================
# 2. ФИЛЬТРАЦИЯ ДЛЯ ОСНОВНОГО АНАЛИЗА
# ==============================================================================
df_valid = df[(df['Observations'] > 0) & (df['Indicator'] == 1)].copy()
print(f"Валидных записей для анализа: {len(df_valid)} из {len(df)} ({len(df_valid) / len(df) * 100:.2f}%)")
print("=" * 65)

# ==============================================================================
# 3. БАЗОВЫЕ СТАТИСТИКИ
# ==============================================================================
print("\nБАЗОВЫЕ СТАТИСТИКИ (только валидные данные)")
print("-" * 65)

columns_to_analyze = ['Number of Sunspots', 'Standard Deviation', 'Observations']

for col in columns_to_analyze:
    data = df_valid[col]
    print(f"\n {col}:")
    print(f"   Среднее:      {data.mean():.2f}")
    print(f"   Медиана:      {data.median():.2f}")
    print(f"   Минимум:      {data.min():.2f}")
    print(f"   Максимум:     {data.max():.2f}")
    print(f"   Std (разброс): {data.std():.2f}")
    print(f"   Q1 (25%):     {data.quantile(0.25):.2f}")
    print(f"   Q3 (75%):     {data.quantile(0.75):.2f}")
    print(f"   IQR:          {data.quantile(0.75) - data.quantile(0.25):.2f}")

# ==============================================================================
# 4. ПОИСК ВЫБРОСОВ (метод IQR)
# ==============================================================================
print("\n\n ВЫБРОСЫ (метод межквартильного размаха, IQR)")
print("-" * 65)
print("Критерий: значение < Q1−1.5×IQR  ИЛИ  значение > Q3+1.5×IQR\n")

for col in columns_to_analyze:
    data = df_valid[col]
    Q1 = data.quantile(0.25)
    Q3 = data.quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR

    outliers = data[(data < lower_bound) | (data > upper_bound)]

    print(f" {col}:")
    print(f"   Границы нормы: [{lower_bound:.2f}; {upper_bound:.2f}]")
    print(f"   Найдено выбросов: {len(outliers)} ({len(outliers) / len(data) * 100:.2f}%)")

    if len(outliers) > 0:
        print(f"   Примеры (топ-5 по величине):")
        for idx in outliers.nlargest(5).index:
            row = df_valid.loc[idx]
            date_str = f"{int(row['Year'])}-{int(row['Month']):02d}-{int(row['Day']):02d}"
            print(f"     • {date_str}: {row[col]:.2f}")
    print()

# ==============================================================================
# 5. БОНУС: ТОП-10 ЭКСТРЕМАЛЬНЫХ ДНЕЙ
# ==============================================================================
print("\n ТОП-10 дней с максимальным количеством солнечных пятен:")
print("-" * 65)
top_spots = df_valid.nlargest(10, 'Number of Sunspots')[
    ['Year', 'Month', 'Day', 'Number of Sunspots', 'Standard Deviation', 'Observations']]
print(top_spots.to_string(index=False))

# ==============================================================================
# 6. СТАТИСТИКА ПО ДЕСЯТИЛЕТИЯМ
# ==============================================================================
print("\n\n СРЕДНЯЯ АКТИВНОСТЬ ПО ДЕСЯТИЛЕТИЯМ:")
print("-" * 65)
df_valid['Decade'] = (df_valid['Year'] // 10) * 10
decade_stats = df_valid.groupby('Decade')['Number of Sunspots'].agg(['count', 'mean', 'median', 'min', 'max'])
print(decade_stats.round(2).to_string())

Разведочный анализ:

Строк: 73718
Столбцов: 9
Типы данных: float64 в 2 столбцах, int64 в 7 столбцах

Пропуски есть в столбцах “Number of Sunspots”, “Standard Deviation”, “Observations”, в 3247 строках и в “Indicator” в 123 строках.

Среднее количество солнечных пятен в день: 83.09
Медиана: 63.00
Минимум: 0.00
Максимум: 528.00

Границы нормы количества пятен: [0; 287.00]
Выбросов: 1290 (1.83%)

Примеры (топ-5 по величине):
1870-08-26: 528.00
1870-08-27: 520.00
1870-08-29: 518.00
1957-12-24: 503.00
1957-12-25: 503.00

# код для построения обязательных графиков

import matplotlib
matplotlib.use('Agg')
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np

# Настройка стиля
plt.style.use('seaborn-v0_8-whitegrid')
plt.rcParams['font.size'] = 10

# Загрузка данных
df = pd.read_csv('sunspot_data.csv')

# Фильтрация: только валидные измерения (для анализа пятен)
df_valid = df[(df['Observations'] > 0) & (df['Indicator'] == 1)].copy()
print(f"Валидных записей: {len(df_valid)} из {len(df)} ({len(df_valid)/len(df)*100:.1f}%)\n")

# ==============================================================================
# ГРАФИК 1: ГИСТОГРАММА — Number of Sunspots (только валидные)
# ==============================================================================
fig, axes = plt.subplots(1, 2, figsize=(14, 5))

spots = df_valid['Number of Sunspots']

axes[0].hist(spots, bins=50, edgecolor='black', color='skyblue', alpha=0.8)
axes[0].axvline(spots.median(), color='red', linestyle='--', linewidth=2, label=f'Медиана: {spots.median():.1f}')
axes[0].axvline(spots.mean(), color='green', linestyle=':', linewidth=2, label=f'Среднее: {spots.mean():.1f}')
axes[0].set_xlabel('Количество солнечных пятен', fontsize=11)
axes[0].set_ylabel('Частота', fontsize=11)
axes[0].set_title('Распределение количества дней по солнечной активности за них', fontsize=13, fontweight='bold')
axes[0].legend(fontsize=9)
axes[0].grid(axis='y', alpha=0.3)

# ==============================================================================
# ГРАФИК 2: РАСПРЕДЕЛЕНИЕ ПО КОЛИЧЕСТВУ ИЗМЕРЕНИЙ ЗА ДЕНЬ (ВСЕ ДНИ, включая 0)
# ==============================================================================
# Используем ПОЛНЫЙ df, а не df_valid — чтобы учесть дни с Observations == 0
obs_all = df['Observations']

# Создаём бины: 0, 1, 2-5, 6-10, 11-20, 21-30, 31-40, 41-50, 50+
bins = [-0.5, 0.5, 1.5, 5.5, 10.5, 20.5, 30.5, 40.5, 50.5, np.inf]
labels = ['0', '1', '2-5', '6-10', '11-20', '21-30', '31-40', '41-50', '50+']
obs_binned = pd.cut(obs_all, bins=bins, labels=labels, right=True)

# Считаем частоты
obs_counts = obs_binned.value_counts().sort_index()

# Рисуем столбчатую диаграмму
bars = axes[1].bar(obs_counts.index, obs_counts.values, color='coral', edgecolor='black', alpha=0.8)

# Подписываем значения на столбцах (с проверкой, чтобы не вылезало за границы)
for bar, count in zip(bars, obs_counts.values):
    offset = 200 if count > 500 else count * 0.3  # адаптивный отступ
    axes[1].text(bar.get_x() + bar.get_width()/2, bar.get_height() + offset,
                f'{int(count)}', ha='center', va='bottom', fontsize=8)

axes[1].set_xlabel('Количество измерений за день', fontsize=11)
axes[1].set_ylabel('Количество дней', fontsize=11)
axes[1].set_title('Распределение количества дней по количеству измерений за них', fontsize=13, fontweight='bold')
axes[1].tick_params(axis='x', rotation=45)
axes[1].grid(axis='y', alpha=0.3, linestyle='--')

plt.tight_layout()
plt.savefig('sunspot_analysis_with_zeros.png', dpi=300, bbox_inches='tight')
print("График сохранён как 'sunspot_analysis_with_zeros.png'")

Гистограмма распределения количества солнечных пятен и столбчатая диаграмма для количества измерений в день:

Гипотезы:

Эволюция наблюдений: Количество наблюдений в день (Observations) растёт со временем — особенно после 1950-х и с запуском спутников.

Стандартное отклонение положительно коррелирует с количеством пятен — в периоды высокой активности разброс значений больше.

Количество солнечных пятен следует циклическому паттерну с периодом ~11 лет (цикл Швабе) — чередование максимумов и минимумов.

# код для построения 3 основных графиков

import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

df = pd.read_csv('sunspot_data.csv')

plt.style.use('seaborn-v0_8-whitegrid')
plt.rcParams['font.size'] = 9

# ==============================================================================
# ГРАФИК 1: Observations от времени (по годам) — СРЕДНЕЕ + ВСЕ ДНИ (включая 0)
# ==============================================================================
fig1, ax1 = plt.subplots(figsize=(12, 4))

# Используем ПОЛНЫЙ df (без фильтрации) и считаем СРЕДНЕЕ
obs_by_year = df.groupby('Year')['Observations'].mean()

ax1.plot(obs_by_year.index, obs_by_year.values, color='steelblue', linewidth=1.5, marker='o', markersize=2)
ax1.axvline(x=1957, color='red', linestyle='--', label='1957: запуск первого спутника', alpha=0.7)
ax1.axvline(x=1980, color='orange', linestyle='--', label='1980: спутниковая эра', alpha=0.7)
ax1.set_xlabel('Год', fontsize=10)
ax1.set_ylabel('Среднее число измерений в день (включая дни с 0)', fontsize=10)
ax1.set_title('График среднего кол-ва измерений каждый день за года', fontsize=12, fontweight='bold')
ax1.legend(fontsize=8)
ax1.grid(axis='y', alpha=0.3)
ax1.set_xlim(1818, 2020)

plt.tight_layout()
plt.savefig('graph1_observations_mean_with_zeros.png', dpi=300, bbox_inches='tight')
print("График 1: graph1_observations_mean_with_zeros.png")
plt.close()

# ==============================================================================
# ГРАФИК 2: Точечный график Std Dev vs Number of Sunspots — ВСЕ ДАННЫЕ (без выборки)
# ==============================================================================
fig2, ax2 = plt.subplots(figsize=(10, 6))

# Фильтруем только реальные измерения (убираем -1 и дни без наблюдений)
df_valid = df[(df['Number of Sunspots'] >= 0) & (df['Observations'] > 0)].copy()

# Рисуем ВСЕ точки сразу (без sample/iloc/sample)
# Уменьшаем alpha и размер маркера, чтобы график не превратился в сплошное пятно
ax2.scatter(df_valid['Number of Sunspots'], df_valid['Standard Deviation'],
            color='darkblue', alpha=0.08, s=4, edgecolors='none')

# Линия тренда (считается по всем валидным данным)
z = np.polyfit(df_valid['Number of Sunspots'], df_valid['Standard Deviation'], 1)
p = np.poly1d(z)
x_line = np.linspace(0, df_valid['Number of Sunspots'].max(), 100)
ax2.plot(x_line, p(x_line), "r--", linewidth=2)

# ФИКСАЦИЯ ОСЕЙ: чтобы нули были в углу
ax2.set_xlim(left=0)
ax2.set_ylim(bottom=0)

ax2.set_xlabel('Количество солнечных пятен', fontsize=10)
ax2.set_ylabel('Стандартное отклонение', fontsize=10)
ax2.set_title('График std от количества пятен', fontsize=12, fontweight='bold')
ax2.grid(alpha=0.3)

plt.tight_layout()
plt.savefig('graph2_stddev_vs_spots_all_data.png', dpi=300, bbox_inches='tight')
print("График 2 сохранён: graph2_stddev_vs_spots_all_data.png")
print(f"Построено точек: {len(df_valid)}")
plt.close()
# ==============================================================================
# ГРАФИК 3: Количество солнечных пятен по годам (11-летний цикл)
# ==============================================================================
fig3, ax3 = plt.subplots(figsize=(14, 5))

# Среднее количество пятен по годам (все данные)
spots_by_year = df.groupby('Year')['Number of Sunspots'].mean()

ax3.plot(spots_by_year.index, spots_by_year.values, color='darkorange', linewidth=2)
ax3.fill_between(spots_by_year.index, spots_by_year.values, alpha=0.3, color='orange')

# Пики циклов (примерные)
cycle_peaks = [1837, 1848, 1860, 1870, 1883, 1893, 1905, 1917, 1928, 1937,
               1947, 1958, 1969, 1980, 1990, 2001, 2014]
for peak in cycle_peaks:
    if peak in spots_by_year.index:
        ax3.axvline(x=peak, color='red', linestyle=':', alpha=0.4)

ax3.set_xlabel('Год', fontsize=10)
ax3.set_ylabel('Среднее количество пятен в году', fontsize=10)
ax3.set_title('средняя активность солнца за года', fontsize=12, fontweight='bold')
ax3.grid(axis='y', alpha=0.3)
ax3.set_xlim(1818, 2020)

# фиксируем ноль внизу оси Y
ax3.set_ylim(bottom=0)


plt.tight_layout()
plt.savefig('graph3_solar_cycle_by_year.png', dpi=300, bbox_inches='tight')
print("График 3: graph3_solar_cycle_by_year.png")
plt.close()

Графики:

1. Для доказательства первой гипотезы можем рассмотреть такой график:

Из него видно, что до 1849 года часто по некоторым дням измерения не проводились. Далее до 1980 года практически каждый день проводилось по 1 измерению, и только после начала эры спутникового мониторинга (1980) количество измерений в день резко выросло (примерно в 23 раза за 14 лет). Также можем заметить крупный скачок после 2013 года, когда количество измерений за день выросло более чем в 2 раза за 4 года). Таким образом понимаем, что гипотеза была частично верна, рост количества наблюдений произошел не после 1950-х, а после 1970-х.

2. Для доказательства второй гипотезы рассмотрим такой график:

Из него понимаем, что и правда, стандартное отклонение растет при росте солнечной активности. Это наглядно представлено на красной пунктирной прямой, которая усредняет все значения, представленные точками на графике. Таким образом, гипотеза была полностью верна.

3. Для доказательства третьей гипотезы рассмотрим следующий график:

На нем заметим, что и правда, каждые примерно 10 – 12 лет наблюдаются всплески активности, которые превышают по активности года с затишьем примерно в 10 – 20 раз. Из этого понимаем, что гипотеза была полностью верна, солнечная активность и правда следует циклу с периодом примерно в 11 лет.

Вывод:

Первая гипотеза оказалась верной частично, ошибка была в годах, рост количества наблюдений произошел не после 1950-х, а после 1970-х. Остальные 2 гипотезы были полностью верны.

Источник:

qwen ai - https://chat.qwen.ai/

Загрузка...

Чтобы оставить комментарий, необходимо авторизоваться

💬

Пока нет комментариев. Будьте первым!

Печать