Kafka模型包含以下类型(type):
- Entity types:
- kafka_topic
- super-types: DataSet
- attributes: qualifiedName, name, description, owner, topic, uri, partitionCount
- kafka_topic
使用唯一属性qualifiedName在Atlas中创建和删除Kafka实体,其值应格式化如下。请注意,qualifiedName将以小写字母显示主题名称。
topic.qualifiedName: <topic>@<clusterName>
二进制文件存在于apache-atlas-<release-version>-kafka-hook.tar.gz
中
将apache-atlas-kafka-hook-<release-version>/hook/kafka
文件夹复制到<atlas package>/hook/
目录
将apache-atlas-kafka-hook-<release-version>/hook-bin
文件夹复制到<atlas package>/hook-bin
目录
Apache Atlas提供了一个命令行脚本import-kafka.sh
,用于将Apache Kafka主题的元数据导入Apache Atlas。此脚本可用于使用Apache Kafka中存在的主题初始化Apache Atlas。此脚本支持导入特定主题或所有主题的元数据。
Usage 1: <atlas package>/hook-bin/import-kafka.sh
Usage 2: <atlas package>/hook-bin/import-kafka.sh [-t <topic prefix> OR --topic <topic prefix>]
Usage 3: <atlas package>/hook-bin/import-kafka.sh [-f <filename>]
File Format:
topic1
topic2
topic3