当前位置: 首页 > news >正文

Flume——sink连接hdfs的参数配置(属性参数+时间参数)

这可不是目录

  • 配置文件官网说明
  • 属性参数
  • 时间参数

配置文件官网说明

可以参考官网的说明

属性参数

属性名称默认值说明
channel-
type-组件类型名称,必须是hdfs
hdfs.path-HDFS路径,例如:hdfs://mycluster/flume/mydata
hdfs.filePrefixFlumeDataflume在hdfs目录中创建文件的前缀
hdfs.fileSuffix-flume在hdfs目录中创建文件的后缀
hdfs.inUsePrefix-flume正在写入的临时文件的前缀
hdfs.inUseSuffix.tmpflume正在写入的临时文件的后缀
hdfs.rollInterval30多长时间写一个新的文件 (0 = 不写新的文件),单位:秒
hdfs.rollSize1024文件多大时写新文件,单位:字节(0: 不基于文件大小写新文件)
hdfs.rollCount10当写一个新的文件之前要求当前文件写入多少事件(0 = 不基于事件数写新文件)
hdfs.idleTimeout0多长时间没有新增事件则关闭文件(0 = 不自动关闭文件),单位:秒
hdfs.batchSize100写多少个事件开始向HDFS刷数据
hdfs.codeC-压缩格式:gzip, bzip2, lzo, lzop, snappy
hdfs.fileTypeSequenceFile支持的值有:SequenceFile,DataStream,CompressedStream
hdfs.maxOpenFiles5000最大打开文件数。如果数量超了则关闭最旧的文件
hdfs.minBlockReplicas-对每个hdfs的block设置最小副本数。不指定则使用hadoop的配置值(默认为1)
hdfs.writeFormat-对于sequence file记录的类型。Text或者Writable(默认值)
hdfs.callTimeout10000为HDFS操作(如open、write、flush、close)准备的时间,单位:毫秒
hdfs.threadsPoolSize10每个HDFS sink用于HDFS io操作的线程数
hdfs.rollTimerPoolSize1每个HDFS sink用于调度计时文件滚动的线程数
hdfs.roundfalse是否需要新建文件夹以支持文件夹滚动
hdfs.roundValue1与roundUnit一起指定文件夹滚动的时长,会四舍五入
hdfs.roundUnitsecond控制文件夹个数。多长时间生成新文件夹,可设置为second, minute或hour
hdfs.timeZoneLocal Time用于解析目录路径的时区名称,例如:America/Los_Angeles
hdfs.useLocalTimeStampfalse一般设置为true以使用本地时间。若不使用,则要求flume发送的事件header中带有时间戳

时间参数

别名描述
%tUnix时间戳,毫秒
%{host}替换名为"host"的事件header的值。支持任意标题名称。
%a星期几的短名,例如:Mon, Tue, …
%A星期几的全名,例如:Monday, Tuesday, …
%b月份短名,例如:Jan, Feb, …
%B月份全名,例如:January, February, …
%c时间和日期,格式如:Thu Mar 3 23:05:25 2030
%d月份中的天数,两位数字表示(01-31)
%e月份中的天数,不补零(1-31)
%D日期,与%m/%d/%y格式相同
%H小时,24小时制,两位数字表示(00-23)
%I小时,12小时制,两位数字表示(01-12)
%j一年中的天数,三位数字表示(001-366)
%k小时,24小时制,不补零(0-23)
%m月份,两位数字表示(01-12)
%n月份,不补零(1-12)
%M分钟,两位数字表示(00-59)
%p本地化的上午或下午标识
%s自1970-01-01 00:00:00 UTC以来的秒数
%S秒,两位数字表示(00-59)
%y年份的最后两位,两位数字表示(00-99)
%Y年份,四位数字表示(例如:2030)
%z数字时区,例如:+hhmm(如-0400)
http://www.lryc.cn/news/500262.html

相关文章:

  • python+docker实现分布式存储的demo
  • go-blueprint create exit status 1
  • 如何更改Git用户名 - 本地与全局设置指南
  • Node.js JWT认证教程
  • 【青牛科技】应用于音频信号处理系统的D258 是由两个独立的高增益运算放大器组成
  • HTML Input 文件上传功能全解析:从基础到优化
  • 小程序 —— Day1
  • 4.5 TCP 报文段的首部格式
  • SQL 获取今天的当月开始结束范围:
  • Qt复习学习
  • Leetcode经典题5--轮转数组
  • C++的一些经典算法
  • Windows环境中Python脚本开机自启动及其监控自启动
  • XML 语言随笔
  • E卷-分割数组的最大差值
  • 基于SpringBoot校园台球厅人员与设备管理系统设计与实现
  • 异步FIFO的实现
  • 关于找工作的一些感悟
  • docker 相关问题记录
  • Devops 实践
  • MySQL 索引(B+树)详解
  • 医疗系统国产数据库高质量发展路径探析
  • 微信小程序报错:http://159.75.169.224:7300不在以下 request 合法域名列表中,请参考文档
  • 智能租赁管理系统助力规范化住房租赁市场提升用户体验
  • MicroBlaze软核开发(一):Hello World
  • 跟着问题学15——GRU网络结构详解及代码实战
  • 【uniapp】swiper切换时,v-for重新渲染页面导致文字在视觉上的拉扯问题
  • 【Android】Compose初识
  • 前端工程化面试题(二)
  • 以攻击者的视角进行软件安全防护