2020-02-02day1 数据预处理

step1:导入需要的库
NumPy包含数学计算函数;Pandas用于导入和管理数据集。

step2:导入数据集
数据集通常是.csv格式。CSV文件以文本形式保存表格数据。文件的每一行是一条数据记录。我们使用Pandas的read_csv方法读取本地csv文件作为一个数据帧。然后,从数据帧中制作自变量和因变量的矩阵和向量。

step3:处理丢失的数据
我们得到的数据很少是完整的。数据可能因为各种原因丢失,为了不降低机器学习模型的性能。我们可以用整列的平均值替换丢失的数据。我们用sklearn.preprocessing库中的Imputer类完成这项任务。

step4:解析分类数据
分类数据指的是含有标签值而不是数字值的变量。取值范围通常是固定的。例如:yes & no不能用于模型的数学计算,所以要解析成数字。为了实现这一功能,我们能从sklearn.crossvalidation库中导入LabelEncoder类。

step5:拆分数据集为测试集和训练集。
注:有时分为训练、验证、测试集。
把数据集拆分成两个:一个是用来训练模型的训练集合,另一个是用来验证模型的测试集合。两者一般的比例是80:20。我们导入sklearn.crossvalidation库中的train_split()方法。

step6:特征缩放
大部分模型算法使用两点间的欧氏距离表示,但此特征在幅度、单位和范围姿态问题上变化很大。在距离计算中。高幅度的特征比低幅度特征权重更大。可用特征标准化或z值均一化解决。导入sklearn.preprocessing库中的StandardScaler类。

第一次写笔记,小鹿镇楼。希望自己保持更新~~


image.png
https://www.jianshu.com/p/137bd271cff5

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论