高效使用ndarray Series DataFrame – Python量化投资

高效使用ndarray Series DataFrame

python 机器学习的基础库 numpy 和 pandas 定义了3种非常适合矩阵运算的数据结构:numpy.ndarray 、pandas.Series、pandas.DataFrame
它们之间有着很强的相关性

import pandas as pd
series = pd.Series([1, 2, 3, 4])
dataFrame = pd.DataFrame([[1, 2], [3, 4]])
  • ndarray: 这是最基础的类型,本质上就是一个n维矩阵
  • Series:它主要由两部分组成,index 和 values
    index是它的索引,在上面示例中的series由于没有指定index因此默认为[0, 1, 2, 3],索引可以是任意类型,不一定非是数字类型
    values是它存放的内容,是一个1维的ndarray
  • DataFrame: 可以将它看作是多列Series组成的,也可以看作是多行Series组成。或者可以看作主要由三部分组成,columns, index, values
    columns 是它的列名,默认也是数字升序,可以是任意类型
    index 是它的行名,默认数字升序,可以是任意类型
    values 是它存放的内容,是一个2维的ndarray

虽然这几种数据类型非常适合处理大数据,但是没能高效的使用它们会导致难以忍受的时间开销和空间开销

需要避免的几种操作

1. 大量的拼接操作

很多人想要在最终结果获得一个DataFrame类型的数据,就直接初始化一个空的DataFrame,每获得一条新数据,就对其进行拼接,获得最终的结果
实际上这3种数据类型非常不适合拼接

import pandas as pd
import time
time_start = time.time()
a = pd.Series()
for i in range(10000):
    a = pd.concat([a, pd.Series([i])])
time_end = time.time()
print("直接拼接", time_end - time_start)
time_start = time.time()
b = [0]
for i in range(10000):
    b.append(i)
pd.Series(b)
time_end = time.time()
print("list转换", time_end - time_start)

同样生成一个0到10000的Series
时间:

直接拼接 4.054653882980347
list转换 0.0050258636474609375

可以很明显的看到它们的时间差

2. 循环

我们用DataFrame 和 Series时候应该尽量用矩阵计算来代替循环操作
因为这几种数据类型本身就是为矩阵运算而设计的,矩阵运算的效率非常高
另外,Series的花式索引也是代替循环的一种好的方法:

meanMr = titanic.Age[titanic.Name == 'Mr'].mean()

这里的 titanic.Name == ‘Mr’ 会生成一个与titanic.Name 这个Series相同大小的Series,但是由True 和 False组成
titanic.Age中传入该索引,会留下索引中True那些项
所以 meanMr 获得的是 名字为Mr 的人的age的均值

推荐使用的操作

它们有大量内置的集合运算,可以求 交集,并集等,但是没有求补集的方法。
它们有大量用于查询的运算,类似SQL语句,有groupby语法,有sum average mean 等聚合函数

first_mention_id = first_df.groupby('mention_id')['label'].agg(['count', 'sum'])
first_mention_id = first_mention_id.index[(first_mention_id['count'] == 2) & (first_mention_id['sum'] == 1)]

first_df 是一个DataFrame 有 mention_id label 等列
这里的first_mention_id 就获得了有两个label 并且两个label加和为1的所有mention_id

https://www.jianshu.com/p/302ecb8b2992

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论