complete part

Former-commit-id: 288d4e72d079f56bfde06299ff1ac10e03877205

applied_math_and_machine_learning_basics.tex

@@ -1,6 +1,19 @@
 % !Mode:: "TeX:UTF-8"
 \part{应用数学与机器学习基础}
 \label{part:applied_math_and_machine_learning_basics}
+
+\newpage
+
+本书这一部分将介绍理解\gls{DL}所需的基本数学概念。
+我们从应用数学的一般概念开始，这能使我们定义许多变量的函数，找到这些函数的最高和最低点，并量化信念度。
+
+接着，我们描述\gls{ML}的基本目标，并描述如何实现这些目标。
+我们需要指定代表某些信念的模型、设计衡量这些信念与现实对应程度的\gls{cost_function}以及使用训练算法最小化这个\gls{cost_function}。
+
+
+这个基本框架是广泛多样的\gls{ML}算法的基础，包括非深度的\gls{ML}方法。
+在本书的后续部分，我们将在这个框架下开发\gls{DL}算法。
+
 \input{Chapter2/linear_algebra.tex}
 \input{Chapter3/probability_and_information_theory.tex}
 \input{Chapter4/numerical_computation.tex}

deep_learning_research.tex

@@ -2,6 +2,47 @@
 \part{深度学习研究}
 \label{part:deep_learning_research}
 
+\newpage
+本书这一部分描述目前研究社群所追求的、更有远见和更先进的\gls{DL}方法。
+
+在本书的前两部分，我们已经展示了如何解决\gls{supervised_learning}问题，即在给定足够的映射样本的情况下，学习将一个向量映射到另一个。
+
+我们想要解决的问题并不全都属于这个类别。
+我们可能希望生成新的样本、或确定一个点的似然性、或处理缺失值以及利用一组大量的未标记样本或相关任务的样本。
+当前应用于工业的最先进技术的缺点是我们的学习算法需要大量的监督数据才能实现良好的精度。
+在本书这一部分，我们讨论一些推测性的方法，来减少现有模型工作所需的标注数据量，并适用于更广泛的任务。 
+实现这些目标通常需要某种形式的\gls{unsupervised}或\gls{semi_supervised}学习。
+
+许多\gls{DL}算法被设计为处理\gls{unsupervised_learning}问题，但不像\gls{DL}已经在很大程度上解决了各种任务的\gls{supervised_learning}问题，没有一个算法能以同样的方式真正解决\gls{unsupervised_learning}问题。
+在本书这一部分，我们描述\gls{unsupervised_learning}的现有方法和一些如何在这一领域取得进展的流行思想。
+
+\gls{unsupervised_learning}困难的核心原因是被建模的随机变量的高维度。
+这带来了两个不同的挑战：统计挑战和计算挑战。
+\emph{统计挑战}与泛化相关：我们可能想要区分的配置数会随着感兴趣的维度数指数增长，并且这快速变得比可能具有的（或者在有限计算资源下使用的）样本数大得多。
+与高维分布相关联的\emph{计算挑战}之所以会出现，是因为用于学习或使用训练模型的许多算法（特别是基于估计显式概率函数的算法）涉及难处理的计算量，并且随维数呈指数增长。
+
+使用概率模型，这种计算挑战来自执行难解的\gls{inference}或归一化分布。
+\begin{itemize}
+ \item \emph{难解的\gls{inference}}：\gls{inference}主要在\chapref{chap:approximate_inference}讨论。
+\gls{inference}关于捕获$a$，$b$和$c$上联合分布的模型，给定其他变量$b$的情况下，猜测一些变量$a$的可能值。
+为了计算这样的条件概率，我们需要对变量$c$的值求和，以及计算对$a$和$c$的值求和的归一化常数。
+ \item \emph{难解的归一化常数（\gls{partition_function}）}：\gls{partition_function}主要在\chapref{chap:confronting_the_partition_function}讨论。
+归一化概率函数的常数在\gls{inference}（上文）以及学习中出现。
+许多概率模型涉及这样的归一化常数。
+不幸的是，学习这样的模型通常需要相对于模型参数计算\gls{partition_function}对数的梯度。
+该计算通常与计算\gls{partition_function}本身一样难解。
+\glsacr{mcmc}（\chapref{chap:monte_carlo_methods}）通常用于处理\gls{partition_function}。
+不幸的是，当模型分布的模式众多且分离良好时，\glssymbol{mcmc}方法会出现问题，特别是在高维空间中（\secref{sec:the_challenge_of_mixing_between_separated_modes}）。
+\end{itemize}
+
+面对这些难以处理的计算的一种方法是近似它们，如在本书的第三部分中讨论的，研究者已经提出了许多方法。
+这里还讨论另一种有趣的方式是通过设计模型，完全避免这些难以处理的计算，因此不需要这些计算的方法是非常有吸引力的。
+近年来，研究者已经提出了数种具有该动机的生成模型。
+其中\chapref{chap:deep_generative_models}讨论了各种各样的现代生成式建模方法。
+
+第三部分对于研究者来说是最重要的，研究者想要了解\gls{DL}领域的广度，并将领域推向真正的\gls{AI}。
+
+
 
 \input{Chapter13/linear_factor_models.tex}
 \input{Chapter14/autoencoders.tex}

deep_networks_modern_practices.tex

@@ -2,6 +2,32 @@
 \part{深层网络：现代实践}
 \label{part:deep_networks_modern_practices}
 
+\newpage
+本书这一部分总结现代\gls{DL}用于解决实际应用的现状。
+
+\gls{DL}有着悠久的历史和许多愿景。
+数种提出的方法尚未完全结出果实。
+数个雄心勃勃的目标尚未实现。
+这些较不发达的\gls{DL}分支将出现在本书的最后部分。
+
+这一部分仅关注那些基本上已在工业中大量使用的技术方法。
+
+现代\gls{DL}为\gls{supervised_learning}提供了一个强大的框架。
+通过添加更多层以及向层内添加更多单元，\gls{deep_network}可以表示复杂性不断增加的函数。
+给定足够大的模型和足够大的标注训练数据集，我们可以通过\gls{DL}将输入向量映射到输出向量，完成大多数对人来说能迅速处理的任务。
+其他任务，比如不能被描述为将一个向量与另一个相关联的任务，或者对于一个人来说足够困难并需要时间思考和反复琢磨才能完成的任务，现在仍然超出了\gls{DL}的能力范围。
+
+% ??
+本书这一部分描述参数化函数近似技术的核心，几乎所有现代实际应用的\gls{DL}背后都用到了这一技术。
+首先，我们描述用于表示这些函数的前馈\gls{deep_network}模型。
+接着，我们提出正则化和优化这种模型的高级技术。
+将这些模型扩展到大输入（如高分辨率图像或长时间序列）需要专门化。
+我们将会介绍扩展到大图像的\gls{convolutional_network}和用于处理时间序列的\gls{RNN}。
+最后，我们提出实用方法的一般准则，有助于设计、构建和配置一些涉及\gls{DL}的应用，并回顾其中一些应用。
+
+这些章节对于从业者来说是最重要的，也就是现在想开始实现和使用\gls{DL}算法解决现实问题的人需要阅读这些章节。
+
+
 \input{Chapter6/deep_feedforward_networks.tex}
 \input{Chapter7/regularization.tex}
 \input{Chapter8/optimization_for_training_deep_models.tex}