从实时中心获取数据（预览版）
从实时中心获取数据（预览版）
本文介绍如何将事件从实时中心获取到新表或现有表中。实时中心当前仅支持 Eventstream 作为源。
先决条件
- 具有已启用 Microsoft Fabric 的容量的工作区
- 具有编辑权限的KQL 数据库
- 具有数据源的Eventstream
Source
要从实时中心获取数据，需要从实时数据中心选择实时流作为数据源。 可通过以下方式选择实时中心：
在 KQL 数据库的下部功能区上，可以：
- 在“获取数据”下拉菜单中的“连续”下，选择“实时中心（预览版）”。
- 选择“获取数据”，然后在“获取数据”窗口中，从“实时中心”部分选择流。
从实时中心流列表中选择数据流。
配置
- 选择目标表。 如果要将数据引入新表，请选择“+ 新建表”并输入表名称。
注意：表名称最多可包含 1024 个字符，包括空格、字母数字、连字符和下划线。 不支持特殊字符。
- 在“配置数据源”下，使用下表中的信息填写设置。 某些设置信息会自动从 Eventstream 中进行填充。
设置 | 描述 |
|---|---|
工作区 | Eventstream 工作区位置。 工作区名称将自动填充。 |
Eventstream 名称 | 你的 Eventstream 名称。 Eventstream 名称将自动填充。 |
数据连接名称 | 用于引用和管理工作区中数据连接的名称。 数据连接名称将自动填充。 也可以输入新名称。 该名称只能包含字母数字、破折号和点字符，并且长度最多为 40 个字符。 |
在 Eventstream 中引入前先进行事件处理 | 此选项允许在将数据引入目标表之前配置数据处理。 如果此选项已选中，请继续在 Eventstream 中执行数据引入流程。 有关详细信息，请参阅在 Eventstream 中引入前先进行事件处理。 |
高级筛选器 | |
压缩 | 事件的数据压缩，如同来自中心。 选项为“无”（默认）或 Gzip 压缩。 |
事件系统属性 | 如果每个事件消息有多个记录，则系统属性将添加到第一个记录中。 有关详细信息，请参阅事件系统属性。 |
事件检索开始日期 | 数据连接检索自事件检索开始日期以来创建的现有事件。 只能根据保持期来检索中心保留的事件。 时区为 UTC。 如果未指定时间，则默认时间是创建数据连接的时间。 |
- 选择下一个
在 Eventstream 中引入前先进行事件处理
使用“在 Eventstream 中引入前先进行事件处理”选项，可以在将数据引入目标表中之前对其进行处理。 选择此选项，获取数据流程将继续在 Eventstream 中无缝执行，并自动填充目标表和数据源详细信息。
若要在 Eventstream 中引入前先进行事件处理，请执行以下操作：
在“配置”选项卡上，选择“在 Eventstream 中引入前先进行事件处理”。
在“在 Eventstream 中处理事件”对话框中，选择“在 Eventstream 中继续”。
重要：选择“在 Eventstream 中继续”将结束 Real-Time Intelligence 中的获取数据流程，在 Eventstream 中继续，并自动填充目标表和数据源详细信息。
- 在 Eventstream 中，选择KQL 数据库目标节点，然后在“KQL 数据库”窗格中验证是否选择了“在引入前先进行事件处理”以及目标详细信息是否正确。
选择“打开事件处理程序”以配置数据处理，然后选择“保存”。 有关更多信息，请参阅使用事件处理程序编辑器处理事件数据。
返回“KQL 数据库”窗格，选择“添加”以完成KQL 数据库目标节点设置。
验证数据是否引入到目标表中。
注意： “在 Eventstream 中引入前先进行事件处理”流程已完成，本文中的其余步骤不是必需的。
检查
此时会打开“检查”选项卡，其中包含数据的预览。 要完成引入过程，请选择“完成”。
可选：
- 选择“命令查看器”以查看和复制基于输入生成的自动命令。
- 通过从下拉列表中选择所需格式来更改自动推断的数据格式。 将以EventData对象的形式从中心读取数据。 支持的格式为 Avro、Apache Avro、CSV、JSON、ORC、Parquet、PSV、RAW、SCsv、SOHsv、TSV、TXT 和 TSVE。
- 编辑列。
- 浏览基于数据类型的高级选项。
编辑列
注意：
- 对于表格格式（CSV、TSV、PSV），无法将列映射两次。 若要映射到现有列，请先删除新列。
- 不能更改已有列类型。 如果尝试映射到其他格式的列，结果可能出现空列。
以下参数决定了你可在表中进行的更改：
表类型 | 映射类型 | 可用调整 |
|---|---|---|
新建表 | 新映射 | 重命名列、更改数据类型、更改数据源、映射转换、添加列、删除列 |
现有表 | 新映射 | 新建列（随后可在其上更改数据类型、进行重命名和更新） |
现有表 | 现有映射 | 无 |
映射转换
某些数据格式映射（Parquet、JSON 和 Avro）支持简单的引入时间转换。 若要应用映射转换，请在“编辑列”窗口中创建或更新列。
可对具有 string 或 datetime 类型且源的数据类型为 int 或 long 的列执行映射转换。 支持的映射转换为：
- DateTimeFromUnixSeconds
- DateTimeFromUnixMilliseconds
- DateTimeFromUnixMicroseconds
- DateTimeFromUnixNanoseconds
基于数据类型的高级选项
表格（CSV、TSV、PSV）：
表格数据不一定要包括用于将源数据映射到现有列的列名称。 要将第一行用作列名，请打开“首行是列标题”。
JSON：
要确定 JSON 数据的列划分，请选择“高级”“嵌套级别”，从 1 到 100。
总结
如果数据引入成功完成，则“数据准备”窗口中的所有三个步骤都会带有绿色的对勾标记。 可以选择要查询、删除已引入数据的卡或查看引入摘要的仪表板。 选择“关闭”以关闭窗口。