在学习机器学习的过程中,因为没有学习过最优化方法方面的知识,在看《统计学习方法》的时候有不少地方比较吃力,于是在 bilibili 上找了有关最优化方法的课程学习。上海财经大学 崔雪婷 老师发布在 bilibili 上的 《最优化理论与方法》 是我觉得讲得特别棒的课程,对于常见优化算法的优化过程、证明、性质、适用条件等等都讲解非常详细,即使对于数学基础薄弱、没有相关知识背景的我来说,只要认真跟着老师推导,也能理解得很透彻。非常推荐入门学习最优化理论和最优化方法的同学学习。
本仓库是根据老师课上学到的知识,用python实现常见的最优化方法,目前已经学习完了常见的无约束优化算法,于是尝试了用这些方法尝试解简单的无约束优化问题。后续学习完约束优化以及其他知识会尝试更新仓库。
水平有限,代码并不漂亮,欢迎批评、交流。