本书结合作者的项目经验,从实际工程需求出发,循序渐进地介绍了大数据预处理相关技术、流行工具与应用案例,全书分为三部分,核心内容概要如下:
第一部分 数据预处理的基础知识。包括数据预处理的基本概念、工作流程、应用场景、开发环境、入门演练和Python科学计算工具包Numpy、SciPy、Pandas的实际应用等。
第二部分 数据预处理的实战进阶。内容包括:
数据采集与存储,主要涉及数据结构类型和采集方式,着重介绍了爬虫技术以及不同格式的文本信息抽取和文件读取。
高效读取文件、正则清洗文本信息、网页数据清洗和文本批量清洗。
中文分词精讲、封装分词工具包、NLTK词频处理、命名实体抽取和批量分词处理。
特征向量化处理,涉及数据解析、缺失值处理、归一化处理、特征词文本向量化、词频-逆词频、词集模型、词袋模型和批量文本特征向量化。
基于Gensim的文本特征向量化,涉及构建语料词典、词频统计、词频-逆词频计算、主题模型和特征降维等。
主成分分析PCA降维技术的原理和实际案例。
Matplotlib数据可视化分析案例。
第三部分 数据预处理的实际应用。主要介绍竞赛神器XGBoost的算法原理、应用、优化调参以及数据预处理在文本分类中的实际应用。