Сравнить с аналитическим решением

[x1o]

В курсе статистики доказывается, что оптимальная оценка $\hat{\boldsymbol{\beta}}$ может быть получена аналитически: $$\hat{\boldsymbol{\beta}}=(\mathbf{X}^{\intercal}\mathbf{X})^{-1}\mathbf{X}^{\intercal}\mathbf{y}$$

• Сгенерируем данные для n = 1e6, d = 100
• Попробуем посчитать аналитическим методом. Получилось?
• Сравним время исполнения обоих алгоритмов

Аналитический метод предпочтительней для случаев, когда данные помещаются в память. Ясно, что если $\mathbf{X}$ больше объема оперативной памяти, то посчитать аналитически не получится. Вдобавок, считать matrix inverse вычислительно тоже очень дорого (кстати, сколько?).

• Посчитайте сложность градиентного спуска и сравните со сложностью аналитического метода.

Наконец, градиентный спуск можно легко запараллелить, что будем делать в следующих тикетах.