博客
关于我
python_链式编程技术_管道技术
阅读量:386 次
发布时间:2019-03-05

本文共 1785 字,大约阅读时间需要 5 分钟。

python_链式编程技术_管道技术

Techniques for Method Chaining# 12.3 链式编程技术# 当对数据集进⾏⼀系列变换时,你可能发现创建的多个临时变量# 其实并没有在分析中⽤到。看下⾯的例⼦:df = load_data()df2 = df[df['col2'] < 0]df2['col1_demeaned'] = df2['col1'] - df2['col1'].mean()result = df2.groupby('key').col1_demeaned.std()虽然这⾥没有使⽤真实的数据,这个例⼦却指出了⼀些新⽅法。 ⾸先,DataFrame.assign⽅法是⼀个df[k] = v形式的函数式的列 分配⽅法。它不是就地修改对象,⽽是返回新的修改过的 DataFrame。因此,下⾯的语句是等价的:# Usual non-functional waydf2 = df.copy()df2['k'] = v# Functional assign waydf2 = df.assign(k=v)result = (df2.assign(col1_demeaned=df2.col1 - df2.col2.mean())          .groupby('key')          .col1_demeaned.std())我使⽤外括号,这样便于添加换⾏符。使⽤链式编程时要注意,你可能会需要涉及临时对象。在前⾯的例⼦中,我们不能使⽤load_data的结果,直到它被赋值给临时变量df。为了这么做,assign和许多其它pandas函数可以接收类似函数的参数,即可调⽤对象(callable)。为了展示可调⽤对象,看⼀个前⾯例⼦的⽚段:```pythondf = load_data()df2 = df[df['col2'] < 0]

df = (load_data()

[lambda x: x[‘col2’] < 0])
result = (load_data()
[lambda x: x.col2 < 0]
.assign(col1_demeaned=lambda x: x.col1 - x.col1.mean())
.groupby(‘key’)
.col1_demeaned.std())
The pipe Method
管道⽅法
你可以⽤Python内置的pandas函数和⽅法,⽤带有可调⽤对象
的链式编程做许多⼯作。但是,有时你需要使⽤⾃⼰的函数,或
是第三⽅库的函数。这时就要⽤到管道⽅法。
看下⾯的函数调⽤:

a = f(df, arg1=v1)b = g(a, v2, arg3=v3)c = h(b, arg4=v4)

当使⽤接收、返回Series或DataFrame对象的函数式,你可以调

⽤pipe将其重写:

result = (df.pipe(f, arg1=v1)          .pipe(g, v2, arg3=v3)          .pipe(h, arg4=v4))

f(df)和df.pipe(f)是等价的,但是pipe使得链式声明更容易。

pipe的另⼀个有⽤的地⽅是提炼操作为可复⽤的函数。看⼀个从
列减去分组⽅法的例⼦:

g = df.groupby(['key1', 'key2'])df['col1'] = df['col1'] - g.transform('mean')

假设你想转换多列,并修改分组的键。另外,你想⽤链式编程做

这个转换。下⾯就是⼀个⽅法:

def group_demean(df, by, cols):    result = df.copy()    g = df.groupby(by)    for c in cols:        result[c] = df[c] - g[c].transform('mean')    return result

result = (df[df.col1 < 0]

.pipe(group_demean, [‘key1’, ‘key2’], [‘col1’]))
pd.options.display.max_rows = PREVIOUS_MAX_ROWS
Conclusion

转载地址:http://fnrg.baihongyu.com/

你可能感兴趣的文章
NIFI分页获取Mysql数据_导入到Hbase中_并可通过phoenix客户端查询_含金量很高的一篇_搞了好久_实际操作05---大数据之Nifi工作笔记0045
查看>>
NIFI分页获取Postgresql数据到Hbase中_实际操作---大数据之Nifi工作笔记0049
查看>>
NIFI同步MySql数据_到SqlServer_错误_驱动程序无法通过使用安全套接字层(SSL)加密与SQL Server_Navicat连接SqlServer---大数据之Nifi工作笔记0047
查看>>
NIFI同步MySql数据源数据_到原始库hbase_同时对数据进行实时分析处理_同步到清洗库_实际操作06---大数据之Nifi工作笔记0046
查看>>
Nifi同步过程中报错create_time字段找不到_实际目标表和源表中没有这个字段---大数据之Nifi工作笔记0066
查看>>
NIFI大数据进阶_FlowFile拓扑_对FlowFile内容和属性的修改删除添加_介绍和描述_以及实际操作---大数据之Nifi工作笔记0023
查看>>
NIFI大数据进阶_FlowFile生成器_GenerateFlowFile处理器_ReplaceText处理器_处理器介绍_处理过程说明---大数据之Nifi工作笔记0019
查看>>
NIFI大数据进阶_FlowFile生成器_GenerateFlowFile处理器_ReplaceText处理器_实际操作---大数据之Nifi工作笔记0020
查看>>
NIFI大数据进阶_Json内容转换为Hive支持的文本格式_实际操作_02---大数据之Nifi工作笔记0032
查看>>
NIFI大数据进阶_Json内容转换为Hive支持的文本格式_操作方法说明_01_EvaluteJsonPath处理器---大数据之Nifi工作笔记0031
查看>>
NIFI大数据进阶_Kafka使用相关说明_实际操作Kafka消费者处理器_来消费kafka数据---大数据之Nifi工作笔记0037
查看>>
NIFI大数据进阶_Kafka使用相关说明_实际操作Kafka生产者---大数据之Nifi工作笔记0036
查看>>
NIFI大数据进阶_NIFI的模板和组的使用-介绍和实际操作_创建组_嵌套组_模板创建下载_导入---大数据之Nifi工作笔记0022
查看>>
NIFI大数据进阶_NIFI监控功能实际操作_Summary查看系统和处理器运行情况_viewDataProvenance查看_---大数据之Nifi工作笔记0026
查看>>
NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
查看>>
NIFI大数据进阶_NIFI集群知识点_认识NIFI集群以及集群的组成部分---大数据之Nifi工作笔记0014
查看>>
NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
查看>>
NIFI大数据进阶_使用NIFI表达式语言_来获取自定义属性中的数据_NIFI表达式使用体验---大数据之Nifi工作笔记0024
查看>>
NIFI大数据进阶_内嵌ZK模式集群1_搭建过程说明---大数据之Nifi工作笔记0015
查看>>
NIFI大数据进阶_内嵌ZK模式集群2_实际操作搭建NIFI内嵌模式集群---大数据之Nifi工作笔记0016
查看>>