Skip to content

Commit

Permalink
Browse files Browse the repository at this point in the history
  • Loading branch information
szcf-weiya committed Apr 23, 2019
1 parent bb72947 commit 01e99c7
Showing 1 changed file with 4 additions and 4 deletions.
8 changes: 4 additions & 4 deletions docs/16-Ensemble-Learning/16.3-Learning-Ensembles.md
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
# 16.3 学习集成

| 原文 | [The Elements of Statistical Learning](../book/The Elements of Statistical Learning.pdf#page=624) |
| 原文 | [The Elements of Statistical Learning](../book/The Elements of Statistical Learning.pdf#page=635) |
| ---- | ---------------------------------------- |
| 翻译 | szcf-weiya |
| 时间 | 2017-09-25 |
Expand Down Expand Up @@ -44,15 +44,15 @@ $$
其中 $\gamma\in \Gamma$ 索引了 (index) $b(x;\lambda)$。举个例子,如果基函数为树,则 $\gamma$ 索引了分离变量,分离点以及终止结点里面的值。数字正交(numerical quadrature)意味着寻找 $M$ 个赋值点 $\gamma_m\in\Gamma$ 的集合,以及对应的权重 $\alpha_m$ 使得 $f_M(x)=\alpha_0+\sum\limits_{m=1}^M\alpha_mb(x;\gamma_m)$ 在 $x$ 的定义域内近似 $f(x)$。重要度采样意味着随机对 $\gamma$ 采样,但是对于空间 $\Gamma$ 的相关区域赋予更大的权重。Friedman and Popescu (2003)[^1] 建议采用损失函数 \eqref{16.9} 来衡量相关性(的缺失):

$$
Q(\lambda)=\underset{c_0,c_1}\sum\limits_{i=1}^NL(y_i, c_0+c_1b(x_i;\gamma))\tag{16.11}
Q(\gamma)=\underset{c_0,c_1}\sum\limits_{i=1}^NL(y_i, c_0+c_1b(x_i;\gamma))\tag{16.11}
$$

上式在训练数据上取值。

如果选择了单个的基函数(比如,一棵树),则会有全局最小点 $\gamma^\*=\text{arg min}_{\gamma\in \Gamma}Q(\lambda)$。在选择$ \gamma$ 的时候引进随机性必然会得到次优值,$Q(\lambda)\ge Q(\lambda^\*)$。他们提出采样模式 $\cal S$ 的特征长度 $\sigma$ 的自然度量,
如果选择了单个的基函数(比如,一棵树),则会有全局最小点 $\gamma^\*=\text{arg min}_{\gamma\in \Gamma}Q(\gamma)$。在选择$ \gamma$ 的时候引进随机性必然会得到次优值,$Q(\gamma)\ge Q(\lambda^\*)$。他们提出采样模式 $\cal S$ 的特征长度 $\sigma$ 的自然度量,

$$
\sigma=\E_{\cal S}[Q(\lambda)-Q(\lambda^*)]\tag{16.12}
\sigma=\E_{\cal S}[Q(\gamma)-Q(\gamma^*)]\tag{16.12}
$$

- $\sigma$ 太窄意味着许多 $b(x;\gamma_m)$ 很接近或者近似为 $b(x;\gamma^\*)$;
Expand Down

0 comments on commit 01e99c7

Please sign in to comment.