入门
文档
切换导航
切换导航
关于
入门
文档
通用
语言
运行器
I/O 连接器
路线图
社区
贡献
博客
案例研究
Apache
ASF 主页
许可证
安全
感谢
赞助
行为准则
关于
入门
文档
通用
语言
运行器
I/O 连接器
路线图
社区
贡献
博客
案例研究
Apache
ASF 主页
许可证
安全
感谢
赞助
行为准则
文档
使用文档
概念
Beam 模型的基础
Beam 如何执行管道
Beam 编程指南
概述
管道
PCollection
创建 PCollection
PCollection 特性
转换
应用转换
核心 Beam 转换
ParDo
GroupByKey
CoGroupByKey
Combine
Flatten
Partition
用户代码要求
侧输入
附加输出
复合转换
管道 I/O
使用 I/O 转换
I/O 连接器
I/O 连接器指南
Apache Parquet I/O 连接器
Hadoop 输入/输出格式 IO
HCatalog IO
Google BigQuery I/O 连接器
Snowflake I/O 连接器
CDAP I/O 连接器
Spark Receiver I/O 连接器
SingleStoreDB I/O 连接器
Web API I/O 连接器
开发新的 I/O 连接器
概述:开发连接器
开发连接器 (Java)
开发连接器 (Python)
I/O 标准
测试 I/O 转换
模式
什么是模式
编程语言类型的模式
模式定义
逻辑类型
创建模式
使用模式
数据编码和类型安全
数据编码基础
指定编码器
默认编码器和 CoderRegistry
窗口化
窗口化基础
提供的窗口化函数
设置 PCollection 的窗口化函数
水印和延迟数据
将时间戳添加到 PCollection 的元素
触发器
触发器基础
事件时间触发器和默认触发器
处理时间触发器
数据驱动触发器
设置触发器
复合触发器
指标
指标基础
指标类型
查询指标
在管道中使用指标
导出指标
状态和计时器
状态类型
延迟状态读取
计时器
垃圾收集状态
状态和计时器示例
可拆分 DoFns
基础
大小和进度
用户启动的检查点
运行器启动的拆分
水印估计
在排水期间截断
捆绑最终化
多语言管道
创建跨语言转换
使用跨语言转换
运行器支持
批处理 DoFns
转换服务
管道开发生命周期
设计您的管道
创建您的管道
测试您的管道
常见的管道模式
概述
文件处理
侧输入
管道选项
自定义 I/O
自定义窗口
BigQueryIO
AI 平台
模式
BigQuery ML
对元素进行分组以实现高效的外部服务调用
使用共享对象进行缓存
AI/ML 管道
开始使用 AI/ML
关于 Beam ML
预测和推理
概述
构建具有多个模型的管道
使用 TensorRT 构建自定义模型处理程序
使用 LLM 推理
构建多语言推理管道
在生产中更新您的模型
数据处理
预处理数据
探索您的数据
工作流编排
使用 ML-OPS 工作流编排器
模型训练
每个实体的训练
在线聚类
ML 模型评估
用例
构建异常检测管道
参考
RunInference 指标
模型验证
运行时系统
容器环境
资源提示
SDK 运行时配置
转换目录
Python
概述
逐元素
丰富
概述
Bigtable 示例
Vertex AI Feature Store 示例
过滤器
FlatMap
键
KvSwap
映射
MLTransform
ParDo
Partition
正则表达式
具体化
RunInference
概述
PyTorch 示例
Sklearn 示例
转换为字符串
值
带时间戳
聚合
近似分位数
近似唯一
BatchElements
CoGroupByKey
CombineGlobally
CombinePerKey
CombineValues
计数
Distinct
GroupBy
GroupByKey
GroupIntoBatches
最新
最大值
平均值
最小值
示例
总和
Top
ToList
其他
创建
Flatten
重新洗牌
WindowInto
Java
概述
逐元素
过滤器
FlatMapElements
键
KvSwap
MapElements
ParDo
Partition
正则表达式
具体化
转换为字符串
值
WithKeys
带时间戳
聚合
近似分位数
近似唯一
CoGroupByKey
Combine
CombineWithContext
计数
Distinct
GroupByKey
GroupIntoBatches
HllCount
最新
最大值
平均值
最小值
示例
总和
Top
其他
创建
Flatten
PAssert
视图
窗口
词汇表
Beam Wiki
示例
相关转换
示例
Javadoc
用于对集合中的元素进行采样,或对集合中每个键关联的值进行采样的转换。
示例
相关转换
Top
在集合中查找最大的(或最小的)元素集
Latest
计算集合中的最新元素
上次更新于 2024/10/31
您找到您要找的一切了吗?
所有内容都实用且清晰吗?您想更改任何内容吗?请告诉我们!
发送反馈