NIFI【应用 02】1.28.1版本使用实例分享(GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6)配置使用及模板分享(txt文件解析)

Apache NIFI 安装过程可参考《一篇学会部署NIFI》中文文档地址 https://nifichina.github.io/ 内容很是详细,大家可以参考。没有中文文档的可查看官方文档 https://nifi.apache.org/documentation/v1/。我是 NIFI 新手,一些配置或者处理器本身的使用可能存在一些问题,发现的小伙伴儿请不吝赐教。

txt文件解析实例

  • 1.实例
  • 2.步骤
    • 2.1 测试数据准备
    • 2.2 GetFile
    • 2.3 SplitText
    • 2.4 ExtractText
    • 2.5 AttributesToJSON
    • 2.6 PublishKafkaRecord_2_6
  • 3.总结

1.实例

本次分享的实例是读取指定目录下的文件内容,格式化后发送到 Kafka, 整体流程图如下:

NIFI【应用 02】1.28.1版本使用实例分享(GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6)配置使用及模板分享(txt文件解析)

2.步骤

2.1 测试数据准备

本次测试的是txt文件,NIFI 提供了CSV、Excel、JSON等类型的 Reader 但是唯独没有txt类型的,由于业务需要,本次就测试这类文件。文件内容如下:

NIFI【应用 02】1.28.1版本使用实例分享(GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6)配置使用及模板分享(txt文件解析)

2.2 GetFile

GetFile 处理器从有读取权限的目录下获取 FlowFiles,主要配置为 Input Directory

NIFI【应用 02】1.28.1版本使用实例分享(GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6)配置使用及模板分享(txt文件解析)

里边的详细设置可根据业务需要进行配置。

2.3 SplitText

SplitText 处理器回按行边界将文本文件拆分为多个较小的文本文件,主要配置为 Line Split Count每个文件有几行数据,为什么要设置为 1后边的步骤会有答案。

© 版权声明

相关文章