Stacking

Stacking 是一种集成学习（Ensemble Learning）方法，它于 1992 年由 David H. Wolpert 提出。

Stacking 先从初始数据集训练出“初级学习器”，然后“生成”一个新数据集用于训练“次级学习器”（也称为“元学习器，meta-learner”）。 在这个新数据集中，初级学习器的输出被当作样例输入特征，而初始样本的标记仍被当作样例标记。

Stacking 的算法描述如图 1 所示。Stacking 的初级学习器可以是任意分类器，次级学习器一般使用 Multi-response linear regression ，次级学习器的输出作为整个学习器的输出。

比如，有下面训练数据： ${\mathit{x}}_{\mathbf{1}};y_1,{\mathit{x}}_{\mathbf{2}};y_2,{\mathit{x}}_{\mathbf{3}};y_3,{\mathit{x}}_{\mathbf{4}};y_4,{\mathit{x}}_{\mathbf{5}};y_5,{\mathit{x}}_{\mathbf{6}};y_6$ ，其中 $y_1,y_2,y_3,y_4,y_5,y_6$ 是对应数据的标签。

假设共有两个初级学习器，第 1 个初级学习器 ${\mathcal{L}}_1$ 对 6 个训练数据的实际输出为 $z_{11},z_{21},z_{31},z_{41},z_{51},z_{61}$ ；第 2 个初级学习器 ${\mathcal{L}}_2$ 对 6 个训练数据的实际输出为 $z_{12},z_{22},z_{32},z_{42},z_{52},z_{62}$ 。则我们用下面数据作为次级学习器的训练数据：
$$\begin{array}{c}(z_{11},z_{12});y_1\\ (z_{21},z_{22});y_2\\ (z_{31},z_{32});y_3\\ (z_{41},z_{42});y_4\\ (z_{51},z_{52});y_5\\ (z_{61},z_{62});y_6\end{array}$$

《机器学习，周志华，2016》，8.4.3，学习法