Python已经成为数据分析和数据挖掘的首选语言，作为除了Java、C/C++/C#外最受欢迎的语言。
本课程基于Python工具来实现大数据的数据分析和数据挖掘项目。基于业务问题，在数据挖掘标准过程指导下，采用Python分析工具，实现数据挖掘项目的每一步操作，从数据预处理、数据建模、数据可视化，到最终数据挖掘结束，帮助学员掌握Python用于数据挖掘，提升学员的数据化运营及数据挖掘的能力。
通过本课程的学习，达到如下目的：
1、 全面掌握Python语言以及其编程思想。
2、 掌握常用扩展库的使用，特别是数据挖掘相关库的使用。
3、 学会使用Python完成数据挖掘项目整个过程。
4、 掌握利用Python实现可视化呈现。
5、 掌握数据挖掘常见算法在Python中的实现。
【授课时间】
2-5天时间
（要根据学员的实际情况调整重点内容及时间）
课程为实战课程，要求：
1、 每个学员自备一台便携机(必须)。
2、 便携机中事先安装好Python 3.6版本及以上。
3、 安装好Numpy,Pandas,sklearn等常用库。
注：讲师现场提供开源的安装程序、扩展库，以及现场分析的数据源。
语言基础 + 挖掘模型 + 案例演练 + 开发实践 + 可视化呈现
采用互动式教学，围绕业务问题，展开数据分析过程，全过程演练操作，让学员在分析、分享、讲授、总结、自我实践过程中获得能力提升。
第一部分： 数据对象基本操作
目的：掌握数据集结构及基本处理方法，进一步巩固Python语言
1、 数据挖掘常用扩展库介绍
Ø Numpy数组处理支持
Ø Scipy矩阵计算模块
Ø Matplotlib数据可视化工具库
Ø Pandas数据分析和探索工具
Ø StatsModels统计建模库
Ø Scikit-Learn机器学习库
Ø Keras深度学习（神经网络）库
Ø Gensim文本挖掘库
2、 数据集构建
Ø Index, Series, DataFrame对象
Ø 手工构建（创建索引、序列、数据集）
Ø 读取文件（CSV文件、Excel文件）
Ø 读取数据库
Ø 数据集保存（CSV、Excel）
3、 数据集基本操作
Ø 基本属性访问
² shape,ndim,index,columns,values,empty,size
Ø 数据类型处理：查看、修改、转换
Ø 排序
² 排序依据：标题、索引、字段
² 排序顺序：升序、降序
² 自定义排序：按标题、索引、字段、有序类别变量排序
Ø 基本访问
² 行访问、列访问、值访问
² 访问方式：标签、位置
² 访问类型：单行列、多行列、连续行列
² 布尔数组访问
Ø 字段管理、新增、删除、修改、替换、移位
Ø 数据筛选：条件筛选、多值筛选、筛选空值/非空值
演练：用Python实现数据的基本访问
第二部分： 大数据预处理
目的：掌握数据预处理的基本环节，以及Python的实现。
1、 预处理任务
Ø 数据清洗
Ø 数据集成
Ø 数据处理
Ø 变量处理
2、 数据清洗
Ø 重复值处理
² 重复字段、重复标题、重复索引
² 处理方式：查找、删除、修改
Ø 错误值处理
² 查找错误值
² 置空/删除
² 重新编码/替换
Ø 离群值处理：
² 检测标题：3σ准则，IQR准则，K均值
² 处理方式：查找、置空、截尾、缩尾
² 基于K均值的离群值检测
Ø 缺失值处理：
² 查找、删除
² 插补(固定值/均值/向下填充/向上填充/插入法/拉格朗日)
3、 数据集成
Ø 数据追加
Ø 变量合并（连接类型）
4、 数据处理
Ø 数据筛选
Ø 数据抽样
² 简单抽样（有放回、无放回）
² 分层抽样
Ø 离散化/分箱
² 等宽
² 等频
² 自定义间隔
² K均值
5、 变量处理
Ø 处理方式：变量变换、变量派生
Ø 规范化：min-max /mean-std/exp-max
Ø 哑变量化
案例：用Python实现数据预处理
第三部分： 数据可视化处理
目的：掌握作图扩展库，实现数据可视化
1、 统计基础
Ø 数值变量：描述统计
Ø 类别变量：分类计数
Ø 分类统计：分类汇总
2、 常用的Python作图库
Ø Matplotlib库
Ø Pygal库
3、 各种图形的画法
Ø 柱状图
Ø 直方图
Ø 饼图
Ø 折线图
Ø 散点图
Ø …
演练：用Python库作图来实现产品销量分析，并可视化
第四部分： 影响因素分析/特征选择
目的：掌握判断事物间相关性的常用方法，熟悉建模前如何进行属性筛选/特征选择，以实现降维的目的。
1、 影响因素分析常用方法
2、 相关分析
Ø 相关分析原理
Ø 相关系数公式种类
² Pearson相关系数
² Spearman等级相关系数
² Kendall等级相关系数
3、 方差分析
Ø 方差分析原理
Ø 方差分析种类
² 单因素方差分析
² 多因素方差分析
² 协方差分析
4、 列联分析/卡方检验
Ø 列联分析原理
Ø 计数与期望值
Ø 卡方检验公式
5、 主成分分析：降维
Ø PCA方法原理
第五部分： 回归预测模型实战
1、 常用数值预测的模型
Ø 通用预测模型：回归模型
Ø 季节性预测模型：相加、相乘模型
Ø 新产品预测模型：珀尔曲线与龚铂兹曲线
2、 回归分析概念
3、 常见回归分析类别
4、 回归分析常见算法
Ø 普通最小二乘法OLS
Ø 岭回归（RR）
Ø 套索回归Lasso
Ø ElasticNet回归
5、 回归模型的评估
Ø 判定系数R^2
Ø 平均误差率MAPE
第六部分： 分类预测模型实战
1、 常见分类预测的模型与算法
2、 如何评估分类预测模型的质量
Ø 正确率、查准率、召回率、F1
Ø ROC曲线
3、 逻辑回归分析模型
Ø 逻辑回归的原理
Ø 逻辑回归建模的步骤
案例：用sklearn库实现银行贷款违约预测
4、 决策树模型
Ø 决策树分类的原理
Ø 决策树的三个关键问题
Ø 决策树算法与实现
案例：电力窃漏用户自动识别
5、 决策树算法
Ø 最优属性选择算法：ID3、ID4.0、ID5.0
Ø 连续变量分割算法
Ø 树剪枝：预剪枝、后剪枝
6、 人工神经网络模型（ANN）
Ø 神经网络概述
Ø 神经元工作原理
Ø 常见神经网络算法（BP、LM、RBF、FNN等）
案例：神经网络预测产品销量
7、 支持向量机（SVM）
Ø SVM基本原理
Ø 维灾难与核心函数
案例：基于水质图像的水质评价
8、 贝叶斯分析
Ø 条件概率
Ø 常见贝叶斯网络
第七部分： 聚类分析（客户细分）实战
1、 客户细分常用方法
2、 聚类分析（Clustering）
Ø 聚类方法原理介绍及适用场景
Ø 常用聚类分析算法
Ø 聚类算法的评价
案例：使用SKLearn实现K均值聚类
案例：使用TSNE实现聚类可视化
3、 RFM模型分析
Ø RFM模型，更深入了解你的客户价值
Ø RFM模型与市场策略
案例：航空公司客户价值分析
第八部分： 关联规则分析实战
1、 关联规则概述
2、 常用关联规则算法
Ø Apriori算法
² 发现频繁集
² 生成关联规则
Ø FP-Growth算法
² 构建FP树
² 提取规则
3、 时间序列分析
案例：使用apriori库实现关联分析
案例：中医证型关联规则挖掘
第九部分： 案例实战
1、 客户流失预测和客户挽留模型
2、 银行欠贷风险预测模型
结束：课程总结与问题答疑。
傅一航
华为系大数据专家
计算机软件与理论硕士研究生
（研究方向：数据挖掘、搜索引擎）
在华为工作十年，五项国家专利，在华为工作期间
获得华为数项奖项，曾在英国、日本、荷兰和比利
时等海外市场做项目，对大数据有深入的研究。
傅老师专注于大数据分析与挖掘、机器学习等应用技术，以及大数据系统部署解决方案。旨在将大数据的数据分析、数据挖掘、数据建模应用于行业及商业领域，解决行业实际的问题。
1、让决策更科学：将大数据应用于运营决策，用大数据探索领域发展规律和行业发展趋势，有效分析用户需求，并预测用户行为，最终实现市场变化预测，提升企业科学决策能力。
2、让管理更高效：将大数据应用于企业管理，用大数据呈现企业整体运营情况，诊断企业管理问题和风险，全面理解组织、产品、人员、营销、财务等要素间的相关性，实现企业资源的最优化配置，提升企业管理效率。
3、让营销更精准：将大数据应用于市场营销，解决营销中的用户群细分和品牌定位，客户价值评估，产品设计优化，产品最优定价等实际问题，实现精准营销和精准推荐，以最小的营销成本实现最大化的营销效果。
傅老师目前致力于将大数据技术应用于通信、金融、航空、电商、互联网、政府等领域。傅老师的课程最大特色：实战性强！“围绕业务问题+搭建分析框架+运用分析方法+建立分析模型+熟悉分析工具+形成业务策略”。以商业问题为起点，基于实际的业务应用场景（明确目的），搭建全面系统的业务框架和分析维度（分析思路），选择最合适的方法（分析方法），深入浅出的理论讲解（分析模型），使用简单实用的工具操作（分析工具），对分析结果进行有效的解读（数据可视化），最终形成具体的业务建议，实现业务分析/数据分析的闭环。
培训课题设计:
应用类：
《大数据分析与数据挖掘综合能力提升实战》
《“数”说营销----大数据营销实战与沙盘》
《市场营销大数据分析实战培训》
《大数据建模与模型优化实战培训》
《大数据分析与挖掘之SPSS工具入门与提高》
《金融行业风险预测模型实战培训》
理论/认知/战略类：
《大数据产业现状及应用创新》
《大数据思维与应用创新》
《大数据时代的精准营销》
技术类：
《Hadoop大数据解决方案开发技术基础培训》
《Python开发基础实战》
《大数据分析与挖掘之Python开发实战》
《Python机器学习算法原理及优化实现》
服务客户:
傅老师曾提供过培训咨询服务的客户遍及通信、金融、交通、制造、政府等行业，包括华为、富士康、平安集团、中国银行、招商银行、光大银行、中信银行、交通银行、广电银通、西部航空、海南航空、中国移动、中国联通、中国电信、西部航空、安能物流、广州地铁、富维江森、东风日产、神南矿业、公交集团、广州税务、良品铺子等单位和公司。
部分信息如下所示：
通信行业培训客户：
联通研究院：《大数据预测建模优化》
广州电信：《大数据时代的精准营销》两期
北京电信：《大数据分析综合能力提升》
香港电信：《大数据精准营销实战》
上海电信：《渠道大数据分析与挖掘思路及方法》两期
河北电信：《数据化运营下的大数据分析综合能力提升实战》
南京电信：《大数据视图支撑精准化营销》
佛山电信：《数据挖掘技术及其应用培训》
泉州电信：《大数据挖掘、信息分析及应用培训》
湖北联通：《大数据分析与商业智能》
广东联通：《数据分析与数据挖掘实战培训》两期
江苏联通：《大数据分析综合能力提升》
吉林联通：《大数据分析综合能力提升-中级》
乌鲁木齐联通：《大数据分析综合能力提升》
上海移动：《大数据分析与挖掘、建模及优化》叁期
浙江移动：《大数据分析与数据挖掘应用实战》
江苏移动：《大数据精准营销技能提升实战》
深圳移动：《大数据分析综合能力提升》
广西移动：《大数据发展趋势及在公司营销领域的应用》
辽宁移动2期：《数据分析方法与经营分析技巧》
泉州移动3期：《数说营销—市场营销数据分析与挖掘应用》
德阳移动2期：《大数据挖掘与建模优化实战培训》
浙江移动：《大数据产品营销能力提升》
四川移动：《大数据分析与挖掘综合能力提升》
吉林移动：《数据分析与数据挖掘培训》；
贵州移动：《“数”说营销----大数据营销实战与沙盘》
海南移动：《基于大数据运营的用户行为分析与精准定位》
山东移动：《大数据分析综合能力提升》
深圳移动：《大数据在行业内外的应用》
中国移动终端公司：《大数据分析综合能力提升培训》
中山移动：《“数”说营销----大数据营销实战与沙盘》
东莞移动：《“数”说营销----大数据营销实战与沙盘》
成都移动：《数字化运营下的数据分析与数据挖掘》
眉山移动2期：《大数据分析综合能力提升》
云浮移动：《大数据挖掘和信息提炼专项培训》
阳江移动：《小数据·大运营--运营数据的分析与挖掘》
德阳移动：《电信运营商市场营销数据挖掘应用典型案例》
陕西在线：《“数”说营销----大数据营销实战与沙盘》
四川在线：《“数”说营销----大数据营销实战与沙盘》
大连移动：《“数”说营销----大数据营销实战与沙盘》
内蒙古移动：《大数据分析与Hadoop大数据解决方案》
贵州中移通信：《SPSS数据分析与数据挖掘应用实战》
华为技术：《话务量预测与排班管理》
……
金融行业培训客户：
中国银行：《大数据变革与商业模式创新》《大数据时代的精准营销》
广发银行：《大数据下的精准营销实战》四期
中信银行：《大数据分析与挖掘综合能力提升实战》叁期
交通银行：《大数据时代的精准营销》
安信证券：《大数据时代下的金融发展》
平安集团：《大数据思维与应用创新》
平安产险：《大数据分析综合能力提升》
平安寿险：《大数据分析与应用实战》
平安银行：《大数据思维与应用创新》
农业银行：《Python大数据分析与挖掘》叁期
建设银行：《大数据思维与应用创新》两期
光大银行：《大数据分析与数据挖掘应用实战》四期
招商银行：《“数”说营销----大数据营销实战与沙盘》四期
杭州银货通科技：《大数据产业发展及应用创新》
广电银通：《大数据综合能力提升》
平安普惠金融：《Hadoop解决方案技术培训》
浦发银行：《大数据精准营销》
金融壹帐通：《大数据分析与挖掘综合能力提升实战》
中金所：《大数据思维与应用创新》
……
能源汽车交通行业培训客户：
一汽解放锡柴：《大数据思维与应用创新》
广东邮政：《大数据分析综合能力提升实战》
深圳水务：《大数据思维与应用创新》
宁夏国电：《大数据思维与应用》两期
柳州上汽五菱：《大数据下的精准营销实战》
东风商用：《数说营销实战》
东风日产：《大数据分析与数据挖掘应用实战》两期
富维江森（汽车）：《数字化运营下的数据分析与数据挖掘应用培训》
广州地铁：《大数据分析与数据挖掘培训》两期
广州地铁：《数据分析与数据建模实战》两期
西部航空：《数字化运营下的数据分析与数据挖掘应用培训》
海南航空：《利用大数据营销提升航线收益》
南方航空：《大数据精准营销实战》两期
北京机场贵宾公司：《市场营销数据的分析》
深圳公交集团：《大数据与智慧交通》
延长壳牌：《大数据分析与挖掘综合能力提升》
神南矿业：《大数据产业发展与应用创新》
宝鸡国电：《大数据分析与挖掘》两期
顺丰快递：《大数据分析综合能力提升实战》
……
其它行业培训客户：
岭南集团：《大数据时代下的精准营销》
ABB：《大数据分析实战培训》
顶新国际：《大数据思维与应用创新》
索菲亚：《大数据分析实战培训》
玫琳凯：《大数据思维与应用》叁期
西部数据：《大数据分析综合能力提升》
无限极：《大数据分析综合能力提升》两期
雅图仕：《大数据分析综合能力提升》
施耐德：《大数据分析综合能力提升》叁期
广州税务：《大数据分析与挖掘实战》叁期
YKK吉田拉链：《大数据分析综合能力提升培训》
富士康：《数据分析综合能力提升培训》
贵州中烟：《互联网+时代的大数据思维》
深圳欣盛商：《电商大数据分析》
安能物流：《大数据挖掘分析及应用实战》
良品铺子：《大数据分析综合能力提升》两期
新时代集团：《问题的挖掘、分析—数据分析技巧》两期培训
挑战牧业：《大数据分析综合能力提升》
易鑫集团：《大数据分析综合能力提升》
赣州监狱：《大数据时代的营销》共三期培训
贺州学院：《大数据时代的人才培养》
……
业务支持部、IT系统部、大数据系统开发部、大数据分析中心、网络运维部等相关技术人员。