NIFI【应用 02】1.28.1版本使用实例分享(GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6)配置使用及模板分享(txt文件解析)
Apache NIFI 安装过程可参考《一篇学会部署NIFI》中文文档地址 https://nifichina.github.io/ 内容很是详细,大家可以参考。没有中文文档的可查看官方文档 https://nifi.apache.org/documentation/v1/。我是 NIFI 新手,一些配置或者处理器本身的使用可能存在一些问题,发现的小伙伴儿请不吝赐教。
txt文件解析实例
- 1.实例
- 2.步骤
-
- 2.1 测试数据准备
- 2.2 GetFile
- 2.3 SplitText
- 2.4 ExtractText
- 2.5 AttributesToJSON
- 2.6 PublishKafkaRecord_2_6
- 3.总结
1.实例
本次分享的实例是读取指定目录下的文件内容,格式化后发送到 Kafka, 整体流程图如下:

2.步骤
2.1 测试数据准备
本次测试的是txt文件,NIFI 提供了CSV、Excel、JSON等类型的 Reader 但是唯独没有txt类型的,由于业务需要,本次就测试这类文件。文件内容如下:

2.2 GetFile
GetFile 处理器从有读取权限的目录下获取 FlowFiles,主要配置为 Input Directory。

里边的详细设置可根据业务需要进行配置。
2.3 SplitText
SplitText 处理器回按行边界将文本文件拆分为多个较小的文本文件,主要配置为 Line Split Count每个文件有几行数据,为什么要设置为 1后边的步骤会有答案。
© 版权声明
文章版权归作者所有,未经允许请勿转载。