博客
2019/04/19
Apache Beam 正在申请参加 Season of Docs
Apache Beam 社区很高兴地宣布其申请参加 2019 年第一届 Season of Docs!

Season of Docs 是一个独特的计划,将技术作家与开源导师配对,共同为开源做出贡献。这为技术作家提供了一个融入开源社区的机会,并在作家参与真实世界开源项目时提供指导。我们 Apache Beam 社区非常乐意抓住这个机会,邀请技术作家与我们合作,帮助我们以多种方式改进我们的文档。
Apache Beam 确实得到了优秀的技术作家的帮助,但项目的文档需求往往超过了他们的带宽。这就是我们对这个计划感到兴奋的原因。
在社区讨论想法后,我们已经找到了导师,并制定了两个我们认为非常适合即将到来的技术作家解决的想法。我们希望你会觉得这个机会很有趣——如果你确实感兴趣,请通过电子邮件联系 Apache Beam 邮件列表 dev@beam.apache.org(你需要先订阅,方法是向 dev-subscribe@beam.apache.org 发送邮件)。
Apache Beam 中可用的项目想法在下面描述。请仔细阅读并提出您可能遇到的任何问题。我们非常乐意帮助您加入项目。
项目想法
部署用于 Portable Beam 的 Flink 和 Spark 集群
Apache Beam 的愿景一直是为用户提供一个框架,让他们能够使用他们选择的编程语言和运行器编写和执行管道。随着 Beam 的实际情况朝着这个愿景发展,Beam 在 Apache Spark 和 Apache Flink 等运行器之上运行的方式发生了变化。
这些更改已在维基和设计文档中记录,并且对 Beam 贡献者开放;但它们在面向用户的文档中不可用。这对其他 Beam 用户来说一直是一个采用障碍。
此项目涉及改进 Flink Runner 页面,以包含在一些不同环境中部署 Beam 的策略:Kubernetes 集群、Google Cloud Dataproc 集群和 AWS EMR 集群。文档中还有其他地方应该在这方面进行更新,例如 Python 流式传输 部分和 支持的功能集。
在完成 Flink Runner 后,应对 Spark Runner 页面 和 入门文档 进行类似的更新。
运行器比较页面/功能矩阵更新
Beam 保持着一个 功能矩阵,用于跟踪哪些 Beam 功能由哪些语言 SDK + 运行器集支持。此项目涉及对功能矩阵进行一些 更正和改进;然后进行一些更大的更改,涉及
- 每个运行器对 Beam 模型支持的简单英语总结。
- 每个运行器生产就绪状态的段落描述。
- 运行器之间非模型差异的比较。
- 每个运行器对可移植性框架支持的比较。
谢谢,我们期待您的来信!