I/O 连接器

Apache Beam I/O 连接器为最流行的数据存储系统提供读写转换，以便 Beam 用户可以从本机优化的连接中受益。通过可用的 I/O，Apache Beam 管道可以以统一和分布式的方式从外部存储类型读取数据并写入数据。

通过 X 语言表示的 I/O 连接器是使用 Apache Beam 多语言管道框架 提供的。

内置 I/O 连接器

此表提供了对可用内置 I/O 连接器的综合概览。

连接器名称支持的来源支持的接收器JavaPythonGoTypescript支持批处理支持流式处理
FileIO✔✔✔ native✔ native✔ native不可用✔✔
AvroIO✔✔✔ native✔ native✔ native✔ 通过 X 语言✔✔
TextIO (指标)✔✔✔ native✔ native✔ native✔ 通过 X 语言✔✔
TFRecordIO✔✔✔ native✔ native不可用不可用✔✘
XmlIO✔✔✔ native不可用不可用不可用✔✘
TikaIO✔✘✔ native不可用不可用不可用✔✔
ParquetIO (指南)✔✔✔ native✔ native✔ native✔ 通过 X 语言✔✘
ThriftIO✔✔✔ native不可用不可用不可用✔✘
HadoopFileSystem✔✔✔ native✔ native不可用✔ 通过 X 语言✔✘
GcsFileSystem (指标)✔✔✔ native✔ native✔ native✔ 通过 X 语言✔✘
LocalFileSystem✔✔✔ native✔ native✔ native✔ 通过 X 语言✔✘
S3FileSystem✔✔✔ native✔ native不可用✔ 通过 X 语言✔✘
内存中✘✔✘✘✔ native✘✔✘
KinesisIO✔✔✔ native✔ 通过 X 语言不可用不可用✔✔
AmqpIO✔✔✔ native不可用不可用不可用✔✔
KafkaIO✔✔✔ native✔ 通过 X 语言✔ 通过 X 语言✔ 通过 X 语言✔✔
PubSubIO✔✔✔ native✔ native✔ native✔ 通过 X 语言✔✔
JmsIO✔✔✔ native不可用不可用不可用✔✔
MqttIO✔✔✔ native不可用不可用不可用✔✔
RabbitMqIO✔✔✔ native不可用不可用不可用✔✔
SqsIO✔✔✔ native不可用不可用不可用✔✔
SnsIO✘✔✔ native不可用不可用不可用✔✘
CassandraIO✔✔✔ native不可用不可用不可用✔✘
HadoopFormatIO (指南)✔✔✔ native不可用不可用不可用✔✔
HBaseIO✔✔✔ native不可用不可用不可用✔✘
HCatalogIO (指南)✔✔✔ native不可用不可用不可用✔✔
KuduIO✔✔✔ native不可用不可用不可用✔✘
SolrIO✔✔✔ native不可用不可用不可用✔✔
ElasticsearchIO✔✔✔ native不可用不可用不可用✔✔
BigQueryIO (指南) (指标)✔✔✔ native✔ native✔ native
✔ 通过 X 语言		✔ 通过 X 语言✔✔
BigTableIO (指标)✔✔✔ 原生✔ 原生 (接收器)
✔ 通过 X 语言		✔ 原生 (接收器)
✔ 通过 X 语言		不可用✔✔
DatastoreIO✔✔✔ 原生✔ 原生✔ 原生不可用✔✔
SnowflakeIO (指南)✔✔✔ 原生✔ 通过 X 语言不可用不可用✔✘
SpannerIO✔✔✔ 原生✔ 通过 X 语言✔ 原生不可用✔✔
JdbcIO✔✔✔ 原生✔ 通过 X 语言✔ 通过 X 语言不可用✔✘
DebeziumIO✔✘✔ 原生✔ 通过 X 语言✔ 通过 X 语言不可用✔✔
MongoDbIO✔✔✔ 原生✔ 原生✔ 原生不可用✔✘
MongoDbGridFSIO✔✔✔ 原生不可用不可用不可用✔✘
RedisIO✔✔✔ 原生不可用不可用不可用✔✘
DynamoDBIO✔✔✔ 原生不可用不可用不可用✔✔
ClickHouseIO✘✔✔ 原生不可用不可用不可用✔✘
DatabaseIO✔✔✘✘✔ 原生不可用✔✘
GenerateSequence✔✘✔ 原生不可用不可用不可用✔✔
SplunkIO✘✔✔ 原生不可用不可用不可用✔✔
FhirIO✔✔✔ 原生不可用✔ 原生不可用✔✔
HL7v2IO✔✔✔ 原生不可用不可用不可用✔✔
DicomIO✔✔✔ 原生✔ 原生不可用不可用✔✔
FlinkStreaming
ImpulseSource		✔✘不可用✔ 原生不可用不可用✔✔
Firestore IO✔✔✔ 原生不可用不可用不可用✔✘
Neo4j✔✔✔ 原生不可用不可用不可用✔✘
Pub/Sub Lite✔✔✔ 原生✔ 通过 X 语言不可用✔ 通过 X 语言✔✔
InfluxDB✔✔✔ 原生不可用不可用不可用✔✔
SparkReceiverIO (指南)✔✘✔ 原生不可用不可用不可用✘✔
CdapIO (指南)✔✔✔ 原生不可用不可用不可用✔✔
SingleStoreDB (指南)✔✔✔ 原生不可用不可用不可用✔✘
GoogleAdsIO✔✔✔ 原生不可用不可用不可用✔✔
Web APIs (指南)✔✔✔ 原生✔ 原生不可用不可用✔✔
Iceberg (托管 I/O)✔✔✔ 原生不可用不可用不可用✔✔

Apache Beam 的其他 I/O 连接器

连接器名称支持的来源支持的接收器JavaPythonGoTypescript支持批处理支持流式处理
Solace✔✘✔ 原生不可用不可用不可用✔✔
SAP Hana 到 Google BigQuery✔✔✔ 原生不可用不可用不可用✔✘
MySQL✔✔不可用✔ 原生不可用不可用✔✘
TrepWsIO✔✘✔ 原生不可用不可用不可用✔✔
KineticaDB✔✔✔ 原生不可用不可用不可用✔✘
Cognite Data Fusion✔✔✔ 原生不可用不可用不可用✔✔
Pyodbc✔✔不可用✔ 原生不可用不可用✔✘
Go Connect✔✔✘✘✔ 原生不可用✔✔
Tinybird✘✔不可用✔ 原生不可用不可用✔✔
Cloud SQL✔✘不可用✔ 原生不可用不可用✔✘
Cloud Bigtable (基于 HBase)✔✔✔ 原生不可用不可用不可用✔✘
Beam PyIO (Python IO 连接器集合)✔✔不可用✔ 原生不可用不可用✔✔