本案例sklearn.cluster 包中的 KMeans 来实现K-Means聚类算法，基于青少年的社交网络数据对青少年市场细分。
本案例主要包括以下内容：
1. 数据源
2. 数据探索和预处理
2.1 通过虚拟编码来处理分类变量的缺失值
2.2 使用填补方法来处理数值变量的缺失值
2.3 数据标准化
3. 模型训练
4. 聚类结果分析 市场细分（market segmentation）是指营销者通过市场调研，依据消费者的需要和欲望、购买行为和购买习惯等方面的差异，把某一产品的市场整体划分为若干消费者群的市场分类过程。 每一个消费者群就是一个细分市场，每一个细分市场都是具有类似需求倾向的消费者构成的群体。 市场细分能够对企业的生产、营销起到极其重要的作用：
随着 Facebook, Twitter等社交网络平台的流行，越来越多的青少年用户会在这些平台发布消息。 这些文本数据能够反映青少年的行为、兴趣爱好，结合社交网络平台上用户的性别、年龄、好友数等信息，对于挖掘青少年细分市场具有很大的价值。
细分市场都是具有类似需求倾向的消费者，而聚类算法很适合用来完成这一任务的。 本案例中，我们将使用一份从社交网络平台抽取的描述青少年基本信息和兴趣爱好的数据集，利用K-Means聚类算法来进行青少年市场细分。
我们使用一份包含30000个样本的美国高中生社交网络信息数据集。 数据均匀采样于2006年到2009年，对应的高中生年级有高中一年级、二年级、三年级和四年级。 每个样本包含40个变量，其中 gradyear,gender,age和friends四个变量代表高中生的毕业年份、性别、年龄和好友数等基本信息。 其余36个变量代表36个词语，这36个词语代表高中生的5大兴趣类：课外活动、时尚、宗教、浪漫和反社会行为。 每个词语变量的取值代表对应词语在高中生的社交网络服务平台发布的消息中出现的频次。 36个词语的列表如下：
# 忽略警告信息
import warnings
warnings.filterwarnings("ignore")
首先，使用pandas中的 read_csv() 函数将数据加载到数据框中：
import pandas as pd
teenager_sns = pd.read_csv("./input/teenager_sns.csv")
teenager_sns.head(5)
通过观察，发现 $gender$和 $age$ 变量存在缺失值（missing value）。 很多机器学习模型不能直接处理带有缺失值的数据，例如我们将要使用的 K-Means聚类算法。 因此在正式构建模型之前，需要对缺失值进行处理：删除或者以某种方法进行填补。 在对缺失值进行处理之前，我们先分别统计$gender$和 $age$这两个变量存在缺失值的样本数量。 对于 gender 变量，我们使用pandas.Series的 value_counts() 函数来完成这一分析，注意 value_counts() 函数默认不对缺失值进行统计，需要将 dropna 参数设置成 False。 对于连续型变量 age，使用 count() 函数能够统计非缺失值的数量，从而能够计算缺失值数量。 使用 describe() 函数则可以对 age 变量进行描述性统计。
teenager_sns["gender"].value_counts(dropna = False)
print 'age变量缺失值数目：', len(teenager_sns["age"]) - teenager_sns["age"].count()
teenager_sns["age"].describe()
可见，在30000个样本中，有2724个样本（约9%）缺少性别数据，5086个样本（约17%）缺少年龄数据。 进一步观察 age 变量的描述统计信息发现，年龄的最小值为3.086，最大值为106.9。 因为我们的样本是青少年样本，所以该最小值和最大值似乎不可信，因为现实中不太可能会有一个3岁或者106岁的人就读高中。 这种异常数据往往会影响最终的建模分析结果，因此需要进行异常值处理。 高中生的合理年龄区间为13~20岁，因此对于我们的数据集，如果年龄在13~20岁之外，我们将其标记为空值NaN。 我们通过pandas.Series的 map() 函数来完成这一个处理：
import numpy as np
def tag_nan(value):
if (value >= 13) & (value < 20):
return value
else:
return np.NaN
teenager_sns["age"] = teenager_sns["age"].map(tag_nan)
teenager_sns["age"].describe()
现在，对于异常值的处理完毕，但是这样引入了更多的缺失值，下一步我们需要对缺失值进行处理。
对于样本中的缺失值，一个最简单的方法是删除带有缺失值的样本。 然而直接删除缺失值会使我们的数据变少，特别是我们的数据中一共有40个变量，只有两个变量存在缺失值。 缺失值在数据中整体不多，但是如果直接删除会导致我们失去很多的可用数据。
对于 gender 这种分类变量，如果缺失值的样本跟其他样本的差别明显，我们可以为 gender 变量增加一个单独的分类 "unkown"。 可以通过 replace() 函数将空值替换为“unkown”。
teenager_sns["gender"] = teenager_sns["gender"].replace(np.NaN, "unkown")
teenager_sns["gender"].value_counts()
由于K-Means聚类算法需要计算样本之间的距离，因此我们还需要对分类变量进行虚拟编码（也成为OneHot编码）。 虚拟编码将一个有K个取值的分类变量转换成K个二元变量。 我们的 gender 变量现在有“M”，“F”和“unkown”三种取值，我们可以将其转换成三个变量：gender_M, gender_F 和 gender_unkown。 这三个变量取值为0和1，分别代表某一个高中生是否是某一性别类型。 对于一个样本，在这三个变量下同时只能一个变量取值为1，其他变量取值为0。 pandas包提供了一个很方便的函数帮助我们完成虚拟编码：
gender_dummies = pd.get_dummies(teenager_sns["gender"], prefix="gender")
gender_dummies.head(5)
可见，我们已经正确完成了虚拟编码，gender变量转换成了3个二元变量 gender_F、gender_M 和 gender_unkown。 现在，将上述虚拟编码结果合并到数据集 teenager_sns。 我们使用 pandas 的 concat() 函数将 teenager_sns 和 gender_dummies 两个数据框进行水平拼接。
teenager_sns = pd.concat([teenager_sns, gender_dummies], axis = 1)
teenager_sns.head(5)
对于 age 这种数值变量的缺失值，我们可以使用一个特殊的值对缺失值进行填补（imputation），常用的填补值包括给定值、均值、中位数等。 在案例中，我们使用最具有代表性的均值填补法。 所以，我们需要先计算 age 变量的均值。 均值的计算可以使用R中的 mean() 函数，但是需要注意默认情况下 mean() 是无法对包含缺失值的数据计算均值的。 我们需要给 mean() 函数传入一个额外的参数 na.rm，将其值设置为 TRUE。
age_mean = teenager_sns["age"].mean()
age_mean
现在，我们使用 pandas.Series的 fillna() 函数使用上述均值对 age 变量的缺失值进行填补：
teenager_sns["age_avg_imputated"] = teenager_sns["age"].fillna(value = age_mean)
teenager_sns.head(5)
观察上表中的第6行的“age”变量和“age_avg_imputated”变量， 发现该样本的age缺失值已经被正确填补为均值17.2523。
因为K-means聚类算法需要计算样本的距离，在构建模型之前，我们需要进行数据标准化。 常用的标准化方法有 min-max 标准化和 z-score 标准化等。 在本例中，我们直接采用 z-score 标准化方法。
from sklearn import preprocessing
filtered_columns = ["gradyear","friends","basketball",
"football","soccer","softball","volleyball","swimming",
"cheerleading","baseball","tennis","sports","cute","sex",
"sexy","hot","kissed","dance","band","marching","music",
"rock","god","church",
"jesus","bible","hair","dress","blonde","mall","shopping","clothes",
"hollister","abercrombie","die","death","drunk","drugs",
"gender_M","gender_F","gender_unkown","age_avg_imputated"]
teenager_sns_zscore = pd.DataFrame(preprocessing.scale(teenager_sns[filtered_columns]),\
columns = teenager_sns[filtered_columns].columns)
teenager_sns_zscore.head(5)
为了将我们的青少年数据进行市场细分，我们使用 sklearn.cluster 包中的 KMeans 类。 KMeans 的 n_clusters 参数为聚类数目。 在本案例中，我们将细分市场的个数 n_clusters 设置为5。
from sklearn.cluster import KMeans
teenager_cluster_model = KMeans(n_clusters = 5)
teenager_cluster_model.fit(teenager_sns_zscore)
聚类结果的定量性能评价指标有互信息、同质性和完备性等，但是这些指标并不能指示聚类结果是否达到我们的预期分析目标。 在本案例中，我们的分析目标是确定具有相似特质和兴趣爱好的青少年的分类，以达到向不同类的青少年做区别营销的目的。 因此，很大程度上，我们需要的不是定量的评价指标结果，而是定性地对聚类结果进行分析。 首先，我们来观察我们K-Means聚类出来的每一个类中样本的数目。
teenager_clusters = pd.Series(teenager_cluster_model.labels_)
teenager_clusters.value_counts().sort_index()
在我们的聚类的5个类中，最大的类中有10530名青少年，最小的类中有1181名青少年。 需要注意的是，因为K-Means聚类会随机选取初始的聚类中心，因此每次运行的结果可能会不同。 为了更好地理解每一个类所代表的青少年群体的特点，我们观察每一个类的聚类中心（cluster center）。 聚类中心结果保存在 teenager_cluster_model 的 centers 属性。
centers = pd.DataFrame(teenager_cluster_model.cluster_centers_, \
columns = teenager_sns_zscore.columns)
centers
因为数据已经使用Z-score方法进行标准化，我们可以直接通过观察聚类中心在每一个变量上的取值情况来分析每一个聚类中心的含义。 如果聚类中心在某一个变量取值大于0，代表该聚类所代表的群体在该变量取值大于群体平均水平。 首先对上述聚类结果数据框进行转置，然后对每一个聚类中心的变量取值从大到小进行排序。 通过观察每个聚类前10个变量来分析聚类所代表的群体：
centers_t = centers.T
centers_t.columns = ["cluster_0","cluster_1","cluster_2","cluster_3","cluster_4"]
centers_t["cluster_0"].sort(ascending = False, inplace = False).head(10)
#sort(centers_t[,1],decreasing = TRUE)[1:10]
第一个聚类所代表的青少年群体特点为：浪漫、爱好音乐，酗酒。
centers_t["cluster_1"].sort(ascending = False, inplace = False).head(10)
第二个聚类所代表的青少年群体的特点为：爱好运动和购物，爱好体育运动，女生居多。
centers_t["cluster_2"].sort(ascending = False, inplace = False).head(10)
第三个聚类性别为未知，大部分变量取值为负，这一人群可能对应在社交网络平台资料不全，且很少发布内容的群体。
centers_t["cluster_3"].sort(ascending = False, inplace = False).head(10)
第四个聚类所代表的青少年群体为高年级、爱好购物，其中以女生居多。
centers_t["cluster_4"].sort(ascending = False, inplace = False).head(10)
第五个聚类所代表的青少年群体特点为：喜欢体育运动的高年级男生。