如何将 Apache Kafka on HDInsight 配置为自动创建主题

创作时间:

作者:

@小白创作中心

如何将 Apache Kafka on HDInsight 配置为自动创建主题

引用

来源

https://learn.microsoft.com/zh-cn/azure/hdinsight/kafka/apache-kafka-auto-create-topics

Apache Kafka on HDInsight默认不允许自动创建主题。本文将详细介绍如何通过Apache Ambari Web UI和Azure资源管理器模板两种方式，为现有或新建的Kafka集群启用自动创建主题功能。

本文内容

默认情况下，Apache Kafka on HDInsight不允许自动创建主题。可以使用Apache Ambari针对现有集群自动创建主题。也可以允许使用Azure资源管理器模板在创建新的Kafka集群时自动创建主题。

Apache Ambari Web UI

若要允许通过Ambari Web UI在现有的集群上自动创建主题，请执行以下步骤：

从Azure门户选择Kafka集群。
从群集仪表板中，选择“Ambari主页”。
出现提示时，使用群集的登录名（admin）凭据进行身份验证。也可以直接从https://CLUSTERNAME.azurehdinsight.net/连接到Ambari，其中CLUSTERNAME是Kafka集群的名称。
从页面左侧的列表选择Kafka服务。
在页面中间选择“配置”。
在“筛选器”字段中输入值auto.create。此设置将筛选属性列表，并显示auto.create.topics.enable设置。
将auto.create.topics.enable的值更改为true，然后选择“保存”。添加注释，然后选择保存。
依次选择Kafka服务、“重启”、“重启所有受影响的项”。出现提示时，选择“确认全部重启”。

注意：也可通过Ambari REST API设置Ambari值。这通常更为困难，因为需进行多次REST调用来检索并修改当前配置以及执行其他操作。有关详细信息，请参阅使用Apache Ambari REST API管理HDInsight集群文档。

Resource Manager模板

使用Azure资源管理器模板创建Kafka集群时，可以将auto.create.topics.enable添加到kafka-broker中，对其直接进行设置。以下JSON代码片段演示如何将此值设置为true：

"clusterDefinition": {
    "kind": "kafka",
    "configurations": {
        "gateway": {
            "restAuthCredential.isEnabled": true,
            "restAuthCredential.username": "[parameters('clusterLoginUserName')]",
            "restAuthCredential.password": "[parameters('clusterLoginPassword')]"
        },
        "kafka-broker": {
            "auto.create.topics.enable": "true"
        }
    }
}