Python – 使用大熊猫的“大数据”工作流程

在学习熊猫的过程中,我试图解答这个问题好几个月。我将SAS用于日常工作,对于它的核心支持非常重要。但是,由于许多其他原因,SAS作为一款软件很糟糕。

有一天,我希望用python和pandas取代我的SAS,但是我目前缺乏大型数据集的核心外工作流程。我不是在谈论需要分布式网络的“大数据”,而是文件太大而不适合内存,但又足够小以适应硬盘驱动器。

我的第一个想法是用于HDFStore在磁盘上保存大型数据集,并只将需要的部分拖放到数据框中进行分析。其他人提到MongoDB是一种更易于使用的替代方案。我的问题是这样的:

什么是一些最佳实践工作流程来完成以下工作:

  1. 将平面文件加载到磁盘上的永久数据库结构中
  2. 查询该数据库以检索要送入熊猫数据结构的数据
  3. 在熊猫中操作片段后更新数据库

真实世界的例子会受到大家的赞赏,特别是那些使用“大数据”熊猫的人。

编辑 – 我希望如何工作的例子:

  1. 迭代地导入大型平面文件并将其存储在永久的磁盘数据库结构中。这些文件通常太大而不适合内存。
  2. 为了使用熊猫,我想阅读这些数据的子集(通常只是一些列),这些数据可以放在内存中。
  3. 我会通过对所选列执行各种操作来创建新列。
  4. 然后我必须将这些新列添加到数据库结构中。

我正试图找到执行这些步骤的最佳实践方式。阅读关于熊猫和pytables的链接似乎是添加一个新列可能是一个问题。

编辑 – 特别回应Jeff的问题:

  1. 我正在建立消费者信用风险模型。数据种类包括电话,SSN和地址特征; 财产价值; 像犯罪记录,破产等贬义性信息……我每天使用的数据集平均有近1,000至2,000个混合数据类型的字段:数字和字符数据的连续变量,名义变量和有序变量。我很少追加行,但是我执行许多操作来创建新列。
  2. 典型的操作涉及将使用条件逻辑的多个列组合成新的复合列。例如,if var1 > 2 then newvar = 'A' elif var2 = 4 then newvar = 'B'。这些操作的结果是我的数据集中每个记录的新列。
  3. 最后,我想将这些新列添加到磁盘数据结构中。我会重复第2步,使用交叉表和描述性统计数据探索数据,试图找到有趣,直观的模型关系。
  4. 一个典型的项目文件通常大约1GB。文件被组织成一行,其中包含消费者数据的记录。每行记录的每列都有相同的列数。情况总是如此。
  5. 创建新列时,按行排序是非常罕见的。但是,在创建报告或生成描述性统计信息时,对行进行子集的处理是非常常见的。例如,我可能想为特定的业务线创建一个简单的频率,比如零售信用卡。要做到这一点,除了我想报告的任何列之外,我只会选择那些业务线=零售的记录。但是,在创建新列时,我会提取所有数据行,并只提取操作所需的列。
  6. 建模过程要求我分析每一列,查找与某个结果变量有趣的关系,并创建描述这些关系的新复合列。我探索的专栏通常以小集合完成。例如,我将着重讨论一系列只是处理财产价值的20列,并观察它们与贷款违约的关系。一旦探索了这些内容并创建了新的专栏,我就会转向另一组专栏,说大学教育,然后重复这个过程。我正在做的是创建候选变量来解释我的数据和一些结果之间的关系。在这个过程的最后,我运用了一些学习技巧,从这些复合列中创建一个等式。

我很少会将行添加到数据集中。我几乎总是会创建新的列(统计/机器学习术语中的变量或功能)。


我经常以这种方式使用几十千兆字节的数据,例如我通过查询读取磁盘上的表格,创建数据并追加回来。

这是值得阅读的文档,在这个线程的最后几个建议如何存储您的数据。

详细信息将影响您存储数据的方式,例如:
尽可能详细地提供信息; 我可以帮你开发一个结构。

  1. 数据大小,行数,列数,列类型; 你是追加行还是只追加列?
  2. 典型的操作将会是什么样子。例如,对列进行查询以选择一堆行和特定列,然后执行操作(内存中),创建新列,保存这些列。
    (给出一个玩具的例子可以使我们提供更具体的建议。)
  3. 处理完之后,你会做什么?第2步是临时的还是可重复的?
  4. 输入平面文件:Gb中有多少个粗略的总大小。这些如何组织如记录?每个文件是否包含不同的字段,或者每个文件是否包含每个文件中的所有字段的记录?
  5. 你是否曾经根据标准选择行(记录)的子集(例如,选择字段A> 5的行)?然后做一些事情,或者你只是选择字段A,B,C与所有的记录(然后做一些事情)?
  6. 你是否在’所有专栏(分组)中工作,或者是否有很好的比例,你可能只用于报告(例如,你想保留数据,但不需要在列中显示直到最终结果时间)?

确保你至少0.10.1安装了熊猫

块逐块多表查询迭代文件

由于pytables经过了优化,可以按行进行操作(这是您查询的内容),我们将为每组字段创建一个表。通过这种方式,很容易选择一小组字段(这将与一张大桌子一起工作,但以这种方式更有效率……我想我可能能够在未来解决这个限制……这是无论如何更直观):(
以下是伪代码。)

import numpy as np
import pandas as pd

# create a store
store = pd.HDFStore('mystore.h5')

# this is the key to your storage:
#    this maps your fields to a specific group, and defines 
#    what you want to have as data_columns.
#    you might want to create a nice class wrapping this
#    (as you will want to have this map and its inversion)  
group_map = dict(
    A = dict(fields = ['field_1','field_2',.....], dc = ['field_1',....,'field_5']),
    B = dict(fields = ['field_10',......        ], dc = ['field_10']),
    .....
    REPORTING_ONLY = dict(fields = ['field_1000','field_1001',...], dc = []),

)

group_map_inverted = dict()
for g, v in group_map.items():
    group_map_inverted.update(dict([ (f,g) for f in v['fields'] ]))

读取文件并创建存储(主要是做什么append_to_multiple):

for f in files:
   # read in the file, additional options hmay be necessary here
   # the chunksize is not strictly necessary, you may be able to slurp each 
   # file into memory in which case just eliminate this part of the loop 
   # (you can also change chunksize if necessary)
   for chunk in pd.read_table(f, chunksize=50000):
       # we are going to append to each table by group
       # we are not going to create indexes at this time
       # but we *ARE* going to create (some) data_columns

       # figure out the field groupings
       for g, v in group_map.items():
             # create the frame for this group
             frame = chunk.reindex(columns = v['fields'], copy = False)    

             # append it
             store.append(g, frame, index=False, data_columns = v['dc'])

现在你拥有了文件中的所有表格(实际上,如果你愿意,你可以将它们存储在单独的文件中,你可能需要将文件名添加到group_map中,但这可能不是必需的)。

这是你如何获得专栏并创建新专栏:

frame = store.select(group_that_I_want)
# you can optionally specify:
# columns = a list of the columns IN THAT GROUP (if you wanted to
#     select only say 3 out of the 20 columns in this sub-table)
# and a where clause if you want a subset of the rows

# do calculations on this frame
new_frame = cool_function_on_frame(frame)

# to 'add columns', create a new group (you probably want to
# limit the columns in this new_group to be only NEW ones
# (e.g. so you don't overlap from the other tables)
# add this info to the group_map
store.append(new_group, new_frame.reindex(columns = new_columns_created, copy = False), data_columns = new_columns_created)

当你准备好post_processing时:

# This may be a bit tricky; and depends what you are actually doing.
# I may need to modify this function to be a bit more general:
report_data = store.select_as_multiple([groups_1,groups_2,.....], where =['field_1>0', 'field_1000=foo'], selector = group_1)

关于data_columns,您实际上并不需要定义任何 data_columns; 它们允许您基于列来选择行。例如:

store.select(group, where = ['field_1000=foo', 'field_1001>0'])

在最终报告生成阶段,它们可能对你最有意思(本质上,数据列与其他列分隔,如果定义了很多,这可能会影响效率)。

你也可能想要:

  • 创建一个接收字段列表的函数,在groups_map中查找组,然后选择这些并连接结果,以便得到结果帧(这实际上是select_as_multiple所做的)。这样的结构对你来说是非常透明的。
  • 某些数据列上的索引(使行子集更快)。
  • 启用压缩。

当你有问题时让我知道!

添加评论

友情链接:蝴蝶教程