集成模型分类（Ensemble）是综合考量多个分类器的预测结果，从而做出决策。

这种综合考量大体分为两种方式：一种是利用相同的训练数据，同时搭建多个独立的分类模型，然后通过投票的方式，以少数服从多数的原则，做出最终的分类决策。比较有代表性的就是随机森林分类器（Random Forest Classifier）。

但是由于决策树会根据每维特征对预测结果的影响程度进行排序，进而决定不同特征从上到下构建分裂节点顺序，这样就会影响随机森林的构建。因此，在随机森林分类器构建时，每一棵决策树会放弃固定的排序算法，进而随机选取特征。

另一种方式是按照一定次序搭建多个分类模型，这些模型之间彼此依赖。这样每一个后续模型的加入都需要对现有集成模型的综合性能有所贡献，进而不断提升更新过后的集成模型的性能，比较有代表性的是梯度提升决策树（Gradient Tree Boosting）

导入数据

import pandas as pd
titanic = pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')

选取特征量

X = titanic[['pclass', 'age', 'sex']]
y = titanic['survived']

对数据缺失补全

X['age'].fillna(X['age'].mean(), inplace=True)

分割数据集

from sklearn.cross_validation import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state = 33)

对类别型特征转化为特征向量

from sklearn.feature_extraction import DictVectorizer

vec = DictVectorizer(sparse=False)
X_train = vec.fit_transform(X_train.to_dict(orient='record'))
X_test = vec.transform(X_test.to_dict(orient='record'))

利用单一决策树训练预测

from sklearn.tree import DecisionTreeClassifier

dtc = DecisionTreeClassifier()
dtc.fit(X_train, y_train)
dtc_y_pred = dtc.predict(X_test)

利用随机森林分类器集成模型的训练预测

from sklearn.ensemble import RandomForestClassifier

rfc = RandomForestClassifier()
rfc.fit(X_train, y_train)
rfc_y_pred = rfc.predict(X_test)

使用梯度提升决策树进行集成模型的训练及预测分析

from sklearn.ensemble import GradientBoostingClassifier

gbc = GradientBoostingClassifier()
gbc.fit(X_train, y_train)
gbc_y_pred = gbc.predict(X_test)

查看测试指标

from sklearn.metrics import classification_report
print('The accuracy of decision tree is', dtc.score(X_test, y_test))
print(classification_report(dtc_y_pred, y_test))

print('The accuracy of random forest classifier is', rfc.score(X_test, y_test))
print(classification_report(rfc_y_pred, y_test))

print('The accuracy of gradient tree boosting is', gbc.score(X_test, y_test))
print(classification_report(gbc_y_pred, y_test))