Седьмой шаг — найти столбцы, которые меняются согласованно. Мера согласованности называется корреляцией и лежит от −1 до 1: около нуля связи нет, ближе к единице — чем больше один, тем больше другой, ближе к минус единице — наоборот.
Главная ошибка этого шага — проверить одну пару, которая первой пришла в голову, и на ней остановиться. Проверять надо все.
- Посчитай корреляции между всеми числовыми столбцами.
- Перебери все пары и выведи пять сильнейших по модулю, каждую в формате «столбец, столбец, корреляция».
- Отдельно выведи пару, которую ты сам ожидал увидеть сильнейшей, и сравни с тем, что получилось.
Заверши двумя предложениями: какая пара оказалась сильнейшей и означает ли это, что один столбец влияет на другой.
Проверь себя: корреляция столбца с самим собой равна единице — если такие пары попали в топ, ты забыл их исключить. Корреляция симметрична, поэтому каждая пара должна встретиться в списке один раз, а не дважды.