本文来自于2018年09月19日在 Adobe Systems Inc 举行的Apache Spark Meetup。

即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对Apache Spark 2.4 的主要功能和增强功能进行了概述。

  • 新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中,以简化分布式训练工作流程。
  • 添加了35个高阶函数,用于在 Spark SQL 中操作数组/map。
  • 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。
  • PySpark 还为教学和可调试性的所有操作引入了热切的评估模式(eager evaluation mode)。
  • Spark on K8S 支持 PySpark 和 R ,支持客户端模式(client-mode)。
  • Structured Streaming 的各种增强功能。 例如,连续处理(continuous processing)中的有状态操作符。
  • 内置数据源的各种性能改进。 例如,Parquet 嵌套模式修剪(schema pruning)。
  • 支持 Scala 2.12。

点击 示说网 ,即可下载此PPT。

2018即将推出的Apache Spark 2.4都有哪些新功能

2018即将推出的Apache Spark 2.4都有哪些新功能

2018即将推出的Apache Spark 2.4都有哪些新功能

2018即将推出的Apache Spark 2.4都有哪些新功能

2018即将推出的Apache Spark 2.4都有哪些新功能

总结

以上所述是小编给大家介绍的2018即将推出的Apache Spark 2.4都有哪些新功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对网站的支持!

标签:
Apache,Spark,2.4新功能,Apache,Spark,2.4

免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com

RTX 5090要首发 性能要翻倍!三星展示GDDR7显存

三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。

首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。

据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。