当前位置: 首页 > news >正文

dbt-codegen: dbt自动生成模板代码

dbt项目采用工程化思维,数据模型分层实现,支持描述模型文档和测试,非常适合大型数据工程项目。但也需要用户编写大量yaml描述文件,这个过程非常容易出错且无聊。主要表现:

  • 手工为dbt模型编写yaml文件,这过程可能会导致错误和拼写失误。
  • 手工编写yaml文件非常耗时,特别是在包括很多模型的大型项目中。
  • 当数据模型发生变化时,更新yaml文件可能是一件令人头痛的事情。
  • 确保所有yaml文件看起来一致,并遵循相同的最佳实践具有挑战性。

dbt-codegen简介

dbt-lab提供了 dbt-codegen工具包,实现一组宏,用于dbt代码并在命令行中输出结果。Codegen旨在为dbt模型自动生成YAML文件,解决与手动创建文件的痛点挑战。Codegen是如何解决这些问题的:

  • Codegen自动化YAML文件创建的整个过程。它基于dbt模型生成YAML配置,减少了手动干预的需要。这大大节省了时间,并最大限度地减少了错误的风险。

  • 通过自动生成YAML文件,Codegen确保了所有dbt模型的一致性和标准化。它遵循预定义的规则和模板,消除了配置差异的可能性。

  • Codegen具有高度可扩展性,允许你有效地管理许多dbt模型。随着数据转换需求的增长,Codegen适应规模,为处理众多模型和配置提供无缝解决方案。

实现过程如下:

Codegen通过分析dbt模型并提取相关信息以生成YAML文件,过程包括:

  • Codegen分析dbt模型,提取列名、数据类型和关系等细节。然后基于分析结果生成YAML配置,包括模型、列和关系。
  • Codegen应用预定义模板,确保标准化配置和一致性,最终输出是一组可以在dbt项目中使用的YAML文件配置信息。

完整功能列表:

  • generate_source (source)
  • generate_base_model (source)
  • create_base_models (source)
  • base_model_creation (source)
  • generate_model_yaml (source)
  • generate_model_import_ctes (source)

dbt-codegen实战

我们看到该包可用于为源和模型列表生成YAML,此外还可以用于为源的基本模型生成SQL。下面介绍几个常用的代码生成功能。读者可以在上文介绍的入门项目中测试。

安装

packages:  - package: dbt-labs/dbt_utils    version: 1.3.0  - package: dbt-labs/codegen    version: 0.12.1

运行dbt deps安装包。安装成功后,包文件将被安装到dbt_packages目录下。

示例1: 生成schema.yml

在命令行运行,直接输出到控制台:

dbt run-operation generate_source --args 'schema_name: shop'# 多个参数
dbt run-operation generate_source --args '{"schema_name": "shop", "database_name": "raw", "table_names":["table_1", "table_2"]}'

也可以直接输出到文件:

dbt --quiet run-operation generate_source --args '{"table_names": ["orders"]}' > models/staging/jaffle_shop/_sources.yml

还可以编码方式执行,拷贝宏代码至DBT项目中, 因为是一次性任务,可以放置analysis 目录下, 然后编译代码:

{{ codegen.generate_source('raw_jaffle_shop') }}
# 包括多个参数
{{ codegen.generate_source(schema_name= 'jaffle_shop', database_name= 'raw') }}

生成结果大致如下:

version: 2sources:- name: shopdatabase: rawschema: shoptables:- name: customersdescription: ""- name: ordersdescription: ""- name: paymentsdescription: ""

示例2: 生成模型yaml文件

  • model_names (required): The model(s) you wish to generate YAML for.
  • upstream_descriptions (optional, default=False): Whether you want to include descriptions for identical column names from upstream models and sources.
  • include_data_types (optional, default=True): Whether you want to add data types to your model column definitions.
dbt run-operation generate_model_yaml --args '{"model_names": ["customers"]}'

生成结果:

version: 2models:- name: customersdescription: ""columns:- name: customer_iddata_type: integerdescription: ""- name: customer_namedata_type: textdescription: ""

当然也可以在analyse模型中编码方式生成:

{{ codegen.generate_model_yaml(model_names=['customers']
) }}

还可以使用辅助函数代码。Get_models并指定一个目录和/或前缀,以获得所有匹配模型的列表,这些模型将被传递到model_names列表中。

{% set models_to_generate = codegen.get_models(directory='marts', prefix='fct_') %}
{{ codegen.generate_model_yaml(model_names = models_to_generate
) }}

助手方法可以在源码中找到,请参考下面截图:
在这里插入图片描述

总结

本文介绍dbt-codegen工具,它可以帮助我们快速生成dbt模型描述文件、生成源等代码。我们介绍多种生成方式,包括命令行和分析模型代码等,有想法的读者还可以考虑编写vscode插件实现。更多示例及详细文档,可以参照官方文档。

http://www.lryc.cn/news/466485.html

相关文章:

  • springboot057洗衣店订单管理系统(论文+源码)_kaic
  • 南大通用(GBase 8s)数据库在 Spring Boot 中使用 Flyway
  • CMakeLists.txt 编写规则
  • Javascript算法——二分查找
  • node-sass/vendor/linux-x64-72 : Error: EACCES: permission denied, mkdir
  • uniapp-uniapp + vue3 + pinia 搭建uniapp模板
  • 深度学习的一些数学基础
  • 自由学习记录(13)
  • 低代码可视化-uniapp海报可视化设计-代码生成
  • 一次使用LD_DEBUG定位问题的经历
  • 数据库安全:如何进行数据库安全审计?
  • 【Python】基础语法错误和异常
  • 获取每个页面的元素,并写入json
  • 【ShuQiHere】深入解析数字电路中的锁存器与触发器
  • 【学习AI-相关路程-mnist手写数字分类-python-硬件:jetson orin NX-自我学习AI-基础知识铺垫-遇到问题(1) 】
  • 数据轻松上云——Mbox边缘计算网关
  • ifftshift函数
  • vue3 + ts + element-plus 二次封装 el-dialog
  • MySQL9.0安装教程zip手动安装(Windows)
  • 如何在浏览器中查看格式化的 HTML?
  • 浅谈计算机存储体系和CPU缓存命中
  • ES操作:linux命令
  • Java使用原生HttpURLConnection实现发送HTTP请求
  • TinyC编译器5—词法分析
  • 电子电气架构---智能计算架构和SOA应用
  • Python Numpy 实现神经网络自动训练:反向传播与激活函数的应用详解
  • Apache Calcite - 基于规则的查询优化
  • react学习笔记,ReactDOM,react-router-dom
  • 优化UVM环境(八)-整理project_common_pkg文件
  • 【实战案例】Django框架连接并操作数据库MySQL相关API