当前位置：首页 > news >正文

2.4 如何在FlinkSQL使用DataGen(数据生成器)

news 2025/8/3 11:36:45

1、DataGen SQL 连接器

FLinkSQL中可以使用内置的DataGen SQL 连接器来生成测试数据

官网链接：DataGen SQL 连接器

2、随机数数据生成器

随机数数据生成器支持随机生成 char、varchar、binary、varbinary、string 类型的数据

它是一个无界流的数据生成器

-- TODO 随机数数据生成器 创建source表
drop table random_datagen_source_table;
CREATE TABLE random_datagen_source_table (user_name string,user_id int) WITH ('connector' = 'datagen','rows-per-second'='1',                 -- 指定生成速率：每秒生成的行数(默认值:10000)-- TODO 对表中的每个字段，进行配置-- 生成随机整数'fields.user_id.kind'='random',        -- 指定 数据生成器类型：random 随机数'fields.user_id.min'='1',              -- 指定 随机数的最小值 'fields.user_id.max'='1000',           -- 指定 随机数的最大值 -- 生成随机字符串(字段类型为string时，可以指定string长度)'fields.user_name.kind'='random',      -- 指定 数据生成器类型：random 随机数'fields.user_name.length'='3'          -- 指定 随机生成字符串的长度
);-- 流式SQL
select * from random_datagen_source_table;

运行结果：

3、序列生成器

序列数据生成器，可以根据指定的起始值和结束值生成连续的整数数据

当序列数字达到结束值，读取结束，所以它是有界的生成器

-- TODO 序列数据生成器 创建source表
drop table sequence_datagen_source_table;
CREATE TABLE sequence_datagen_source_table (user_id int
) WITH ('connector' = 'datagen','rows-per-second'='1',                 -- 指定生成速率：每秒生成的行数(默认值:10000)-- TODO 对表中的每个字段，进行配置'fields.user_id.kind'='sequence',        -- 指定 数据生成器类型：sequence 序列'fields.user_id.start'='1',              -- 指定 序列的起始值'fields.user_id.end'='120'               -- 指定 序列的结束值
);-- 批式SQL
select * from sequence_datagen_source_table;

运行结果：