IT虾米网

数据处理任务介绍详解

flyfish 2018年07月03日 大数据 118 0

数据处理的一些基本任务:

与外界进行交互:读取各种文件(txt,csv,doc)和数据库中的数据

准备:对数据进行加工处理,清洗、变形等以便以后进行数据分析

转换:做一些数学和统计的计算,产生一个新的数据集。

建模和计算:将数据应用到统计模型、机器学习或其他计算工具中

展示:生成图表、图片、文字摘要等

 

主要用到的工具:

pandas:能够快捷的处理结构化数据。主要有Series(一维数组),DataFrame(二维数组),以及多维数组等数据结构

matplotlib:绘制数据图表的python库。

numpy:python科学计算的基础包。用于创建多维数组,可以执行元素级计算,也可以直接对数据进行数学运算。

 

发布评论

分享到:

IT虾米网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!

设计模式之工厂模式详解
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。