Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Реализовать градиентный спуск #4

Open
7 tasks
x1o opened this issue Sep 30, 2022 · 0 comments
Open
7 tasks

Реализовать градиентный спуск #4

x1o opened this issue Sep 30, 2022 · 0 comments

Comments

@x1o
Copy link
Owner

x1o commented Sep 30, 2022

  • Посчитаем, как будет выглядеть элемент градиента $$\frac{\partial R}{\partial\beta_{i}}$$
  • Перепишем его в векторном виде, чтобы считался сразу весь градиент $\nabla R$
  • Используя $\mathbf{X}$ из Сгенерировать многомерные данные #2, сгенерируем $\mathbf{y}$, однако не будем зашумлять. Попробуем восстановить сгенерированную гиперплоскость.
  • Напишем функцию gd_step, реализующую шаг градиентного спуска для заданного вектора параметров b.
  • Попробуем для случайного вектора $\boldsymbol{\beta}_{\mathrm{init}}$ прогнать шаг спуска. Считает?
  • Попробуем запустить в цикле gd_step (шагов 200). $\alpha$ можно положить равным 1e-2. Полученный вектор похож на тот, который использовался для генерации $\mathbf{y}$? Сколько разница?
  • Кстати говоря, не стоит ли попробовать запустить оптимизацию на другом $\boldsymbol{\beta}_\mathrm{init}$ - а ну как попали в локальный минимум?
@x1o x1o changed the title Реализовать шаг градиентного спуска Реализовать градиентный спуск Sep 30, 2022
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant