Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

06-01 Gradient decent #206

Open
hcgcut opened this issue Nov 17, 2022 · 2 comments
Open

06-01 Gradient decent #206

hcgcut opened this issue Nov 17, 2022 · 2 comments

Comments

@hcgcut
Copy link

hcgcut commented Nov 17, 2022

image

2차 테일러 식에서 마지막 항을 다음과 같이 바꿔야 할 것 같습니다.
${1\over{2}} (\mathbf{y}-\mathbf{x})^{\intercal} \mathbf{H}_f (\mathbf{x}) (\mathbf{y}-\mathbf{x})$

$\nabla^2f$는 Laplacian을 위한 표기법이므로 적절하지 않습니다

@Curt-Park
Copy link
Collaborator

06-01의 내용은 CMU의 강의 교안을 참고했습니다.
https://www.stat.cmu.edu/~ryantibs/convexopt/lectures/grad-descent.pdf

관례적으로 두 표기법 모두 사용하는 것으로 보이는데요.

말씀해주신 내용에 대한 레퍼런스를 공유해주실 수 있으실까요?

@hcgcut
Copy link
Author

hcgcut commented Nov 5, 2023

∇² 는 laplacian에서 더 흔하게 쓰는 기호이기에, CMU 강의 노트에서 ∇² 앞에 Hessian이라고 명시해준 것 같이 명확히 표시해주는 것이 좋을 것 같습니다.

그리고 중요한 점은 수식이 틀렸습니다.
CMU 강의 를 보면 올바른 테일러 2차 근사식의 마지막 항은 ${1\over{2}} (\mathbf{y}-\mathbf{x})^{\intercal} \mathbf{H}_f (\mathbf{x}) (\mathbf{y}-\mathbf{x})$ 입니다.
이 항에서의 헤시안을 ${1\over{t}} I$로 치환하였을 때 강의 교안의 식이 됩니다.

현재 적혀있는 2차 테일러 근사식은 차원이 맞지 않아 틀린 수식입니다.

이에 뒤 수식을 ${1\over{2}} (\mathbf{y}-\mathbf{x})^{\intercal} \mathbf{H}_f (\mathbf{x}) (\mathbf{y}-\mathbf{x})$ 으로 바꾸어 주어야 합니다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants