发帖

楼主: ZQZ520

15946 258

[软件应用] 数据整理中经典的分类汇总问题的Python实现 [推广有奖]

90 个论坛币

回复本帖可获得 3 个论坛币奖励! 每人限 1 次

2关注
43粉丝

运营管理员

院士

还不是VIP/贵宾

威望: 4 级
论坛币: 158550 个
学术水平: 89 点
热心指数: 190 点
信用等级: 85 点
经验: 22242 点
帖子: 549
精华: 7
在线时间: 2229 小时
注册时间: 2014-5-7
最后登录: 2018-1-9

楼主

ZQZ520

发表于 2018-04-26 10:03:36 |只看作者 |倒序

数据分析职场新人，精通一门语言至关重要。写个web服务，可以用python、写个服务器脚本，可以用python、数据清洗和网络爬虫，可以用python、做机器学习数据挖掘，可以用python等等，所以说人生苦短，我用Python

PS：下面介绍课程中的一个小案例，2018-04-26跟着覃老师一起学习Python。强化的培训，应该让你学完后很自信，学以致用，快速上手解决工作中的问题。

（深圳现场班）

（远程直播班）

   问题是数据整理中经典的分类汇总问题，各个软件，SAS、R语言甚至Excel都可以比较好地解决此问题，但Python解决此问题时，也可以做到“一剑封喉”，并体现出其独特的优势。我们先看问题：
   题目：下列数据来自某市房地产公司的资料，试按房屋类型和每一房屋类型下卧室个数的多少计算其平均售价。
图1.png

   问题比较清楚，这是一个按照“房屋类型”和“卧室个数的多少”的双条件汇总问题，即考虑在A和B两个条件下的数据分类汇总问题。该问题在工作中是常见的问题，如果在Excel完成，要依靠数据的预处理和较为复杂的函数来进行。
   我们先来试算一下，比如，先看第5行，在“RANCH”这个房屋类型下，“BEDROOMS”个数为3的数据记录总共有2条，即第“5”条和第“11”条，其房价分别是“$86,650”和“$89,100”，不难算出其平均价格为“$87,875”。
   用Python的Pandas（专门进行数据处理的模块）计算，首先面临的问题是如何导入数据，并且把房屋价格里面的“$”和“,”去掉，这样才能进行计算。于是一个双条件分类汇总的问题变成了字符处理的问题。
当然不可能手动去读入数据，最简洁的方式是将数据选择鼠标右键复制下来，然后这样导入：
图2.png

导入让把所有的数据赋给“a”，“a”的数据结构看一下是：
图3.png

告诉我们是“字符串”。面对字符串，进一步显示“a”，发现其被“\n”分割：
图4.png

于是想办法去掉“\n”。去掉“\n”不是很难，一句“a.split("\n")”就可以去掉。但是进一步我们发现，各个变量是以空格“ ”相连的，所以还要去掉这个空格以便进一步计算。这里利用Python常用的“逐行扫描”技巧来完成。通常前面要先定义一个空的list，比如b：
图5.png

这一步完成之后，一定要看一下b的结果，如下图所示：
图6.png

下一步就是要去掉价格price里面的“$”和“,”了，这一步完成的方法比较多，最朴素的想法是用什么都没有的“”去置换这2个元素：
图7.png

这里又用到Python的“for”循环的“逐行扫描”的技巧。这一步将“b”变成：
图8.png

到了这一步，离结果只有“一步之遥”了。为了保险起见，我们把所有的变量都“数值化”，使用下面的语句去遍历：
图9.png

得到如下的结果：

仔细比较一下前图，发现字符串都变成了数字。

到了这时候，就是“临门一脚”了，我们把数据整理成为我们熟悉的“数据框”的形式，这一步让Pandas来上场，经过整理之后，数据变得“赏心悦目”：
图11.png

请注意，这条语句中，指明第一行是变量名。
通常，面临这样的数据，要进行各种计算是非常方便的。比如，要完成一开始题目提出的问题，只需一句话即得结果：
图12.png

这句“画龙点睛”之笔是用groupby这个函数把数据按照2个条件分组，然后计算其均值。“.”加函数的方式是Python里面常用的形式。我们看一下Python计算结果里面的“RANCH”和“3”，是“87875”，与我们之前计算的完全吻合。这样我们就按要求用Python完成了该数据的整理汇总。
数据的整理汇总是进行数据分析和数据挖掘工作的前期准备，比较重要，往往占用很大一部分时间。数据清洗的能力有时候直接决定数据挖掘建模预测的成败。通过该简单的小例子，向大家展示了Python中的Pandas在这方面的优势和方法。当然，Python及Pandas神通广大，远远不止做这些简单的工作，希望大家掌握这个数据分析利器，在大数据时代更好更充分的发掘数据的价值。

（深圳现场班）

（远程直播班）

在线咨询
张老师
手机：13718534278（微信）
QQ：2881989712

邮箱：zhangwei@pinggu.org

回贴 分享1 知识树 收藏101 支持45 反对13

关键词：python 数据整理分类汇总总问题 bedrooms

支持楼主：购买VIP、购买贵宾购买后，论坛将把您花费的资金全部奖励给楼主，以表示您对TA发好贴的支持


载入中......	CDA数据分析师认证考试

已有 1 人评分	热心指数	收起理由
AGodot	+ 2	观点有启发

总评分: 热心指数 + 2 查看全部评分

本主题由星野于 2018-04-26 17:40:27 限时精华

CDA数据分析交流群 217748971

使用道具举报

沙发

西门高 发表于 2018-04-26 10:28:18 来自手机 |只看作者

ZQZ520 发表于 2018-04-26 10:03
下面的问题是数据整理中经典的分类汇总问题，各个软件，SAS、R语言甚至Excel都可以比较好地解决此问题，但P ...

谢谢分享

使用道具举报

藤椅

ZQZ520

发表于 2018-04-26 10:42:07 |只看作者

一、课程目标
1.数据分析工作中遇到的典型数据分析和挖掘案例进行深刻地分析
2.初学者快速掌握Python 数据分析和数据挖掘（含机器学习）的思想和方法
3.形成科学有效的知识和能力结构体系框架，为今后数据分析工作打下良好的基础

二、课程特色
1．全程没有艰深的公式，几乎全部以实际案例带动启发理解，以通俗易懂的语言讲清楚深刻的数据分析和挖掘思想，随时互动、答疑解惑
2．注重学以致用、注重应用场景再现。把工作中常见的数据分析模型和案例加以剖析，使得学员在实际工作中很快能上手进行实际问题的解决
3．注重实际工作经验分享，让学员在工作学习中少走弯路，以培养兴趣为引导、以阐明基本原理思想为基础，让学员在数据分析中有应万变的能力

三、授课老师
   覃老师，早年毕业于中国人民大学统计学院，近 20 年来一直进行着数据分析的理论和实践，熟悉数据分析与建模，擅长使用Python、R语言、SAS和Spark解决大数据建模及算法优化难题，积累了大量实践案例，经验丰富；善于用逻辑贯穿数据分析过程，把深奥的思想和方法用通俗易懂的语言讲述清楚透彻，善于用数据分析计算机程序实现从数据到结论到预测的落地过程。2010 年至今培养了上万名（包括首批）使用R语言、SAS和Python等工具实现数据分析和挖掘的专业人士，帮助他们在数据挖掘领域提升工作技能或实现就业。
   覃老师曾在某世界500强金融业公司工作期间曾带队负责开发国内首款基于数据分析建模、随机模拟和最优化精确计算的金融年金产品，该产品销售额持续领跑同业市场多年，获得金融产品创新大奖。
   覃老师培训或完成过数据分析和挖掘项目的企业有中国人寿、陆金所、中国建设银行、汇丰银行、北京银行、渤海银行、宁波银行、吴江农商行、中国移动等。

四、课程大纲：
第一阶段： Python 基础精要，零基础也能学会
1. 语法初步
2. 列表、字符串和元组
3. 集合与字典
4. 条件和循环语句
5. 若干重要内置函数应用
6. 文件操作
7. 函数及其应用
8. 正则表达式
9. 数据库和 Python
10.排序算法、动态规划算法、递归算法等算法

第二阶段：numpy、pandas等进行数据清洗和整理，充分统计分析数据
1. 整理数据（切片、产生随机数、复制、广播、排序等）
2. 数据索引和选择的各种方法
3. 数据的分组、分割、合并、变形
4. 缺失值和空值的数据处理
5. 时间序列数据处理、建模和预测（ARIMA）
6. 含中文数据的处理
7. 数据去重、去离群值
8. R语言和Python（pandas）数据整理和建模的比较
9. 描述统计和推论统计分析

第三阶段：Python机器学习算法和数据挖掘案例实战
1. 文本挖掘原理和案例（Logistic 回归模型对文本的分类）
2. 预测分析核心算法（图片的K-means聚类分析）
3. 机器学习经典算法（图片的识别和分类：PCA建模）
4. 概率统计（二维手写数字识别 KNN方法）
5. 数据可视化（推荐系统和精准营销最近邻方法、协同过滤）
6. 金融建模分析（数据可视化的各种情形）
7. 客户画像和精准营销（新闻的文本分类 TF-IDF准则、旅游新闻个性化推荐）
8. 算法和模型的优化（手写识别）
9. 模型精度评估和提升（朴素贝叶斯决策）
10.特征选取的方法（酒的品质分类预测）
11.最佳K-means分类数（机器学习的格点搜索和参数寻优）
12.交叉验证（惩罚线性回归分类器）
13.不平衡数据处理（使用支持向量机识别和分类）
14.XGBoost 使用案例       （金融时间序列预测）
15.贝叶斯分析（机器集成学习算法）
16.逼近和最优化       （随机模拟）
17.自然语言概率图模型（用户流失预警）
18 马尔科夫&蒙特卡罗（量化投资实战）

（深圳现场班）

（远程直播班）

五、课程安排
上课时间：2018年01月26—28日
上课地点：深圳市南山区科技园北区科技北一路17号摩比大厦
现场费用：2800/1800元（学生价格1800元仅限全日制本科生及硕士研究生)
直播费用：1800元/人（同步上课时间课程内容）
每天授课：上午9:00-12:00；下午13:30-16：30；16:30-17:00（答疑）
课程优惠：
1.现场班老学员9折优惠；
2.同一单位三人以上同时报名9折优惠；
以上优惠不叠加

PS：9月覃老师在中国工商银行企业内训，学员受益匪浅，详情见链接 http://www.cda.cn.dig888.com/hd/125.html

在线咨询
张老师
手机：13718534278（微信）
QQ：2881989712

邮箱：zhangwei@pinggu.org

使用道具举报

板凳

littlelianglian 发表于 2018-04-26 12:01:45 |只看作者

回帖奖励 +3 个论坛币

长沙有远程直播课

使用道具举报

报纸

PLMKI 发表于 2018-04-26 13:33:43 |只看作者

回帖奖励 +3 个论坛币

python是一门高级语言，其生产效率更高，时间通常比CPU的时间值钱，因此为了权衡利弊，考虑用python是值得的。
谢谢分享，支持支持！

使用道具举报

地板

浮世若离丶 发表于 2018-04-26 13:40:06 |只看作者

回帖奖励 +3 个论坛币

人生苦短，快学Python

使用道具举报

7楼

zhouzhj3333 发表于 2018-04-26 14:17:39 |只看作者

回帖奖励 +3 个论坛币

学习学习

使用道具举报

8楼

laoliu_lyp

发表于 2018-04-26 14:50:08 |只看作者

回帖奖励 +3 个论坛币

XGBoost 使用案例

使用道具举报

9楼

A.T. 发表于 2018-04-26 15:20:57 |只看作者

回帖奖励 +3 个论坛币

想学习但是不知从何开始

使用道具举报

10楼

rossrachel 发表于 2018-04-26 15:25:29 |只看作者

回帖奖励 +3 个论坛币

支持一下！

使用道具举报

返回列表

12 3 4 5 6 7 8 9 10 ... 26 下一页

发帖

手机版 |

意见反馈 |

帮助 |

新手入门 |

用户手册 |

友情链接 |

如有投资本站或合作意向，请联系（010-62719935）；投放广告：13661292478（刘老师）

客服QQ：2881989700 邮箱：service@pinggu.org 投诉或不良信息处理：（010-68466864）

京ICP备16021002-2号京B2-20170662号京公网安备 11010802022788号
论坛法律顾问：王进律师知识产权保护声明免责及隐私声明

建湖县论坛	青秀区论坛	招贤镇论坛	丰顺县论坛	偃师市论坛
佛冈县论坛	延边朝鲜族自治州论坛	福利镇论坛	黄竹湾论坛	乐昌市论坛

[软件应用] 数据整理中经典的分类汇总问题的Python实现 [推广有奖]

回帖奖励 +3 个论坛币

回帖奖励 +3 个论坛币

回帖奖励 +3 个论坛币

回帖奖励 +3 个论坛币

回帖奖励 +3 个论坛币

回帖奖励 +3 个论坛币

回帖奖励 +3 个论坛币

一级伯乐勋章

初级学术勋章

初级信用勋章