当前位置: 首页 > news >正文

Databend 开源周报第 124 期

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

新增对 Delta 和 Iceberg 表引擎的支持

Databend 新增对 Delta 和 Iceberg 格式表引擎的支持,以帮助用户对接由不同数据湖管理的表。

下面的例子展示了如何利用 Delta 表引擎和 CONNECTION 创建存储位于 S3 上的 Delta 表:

create connection my_s3_conn storage_type = 's3' access_key_id ='minioadmin' secret_access_key ='minioadmin' ENDPOINT_URL='http://127.0.0.1:9900'; create table test_delta engine = delta location = 's3://testbucket/admin/data/delta/delta-table/' connection_name = 'my_s3_conn' 

目前 Delta 表引擎仅支持基本的读操作,我们将会在后续不断迭代优化。

如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。

  • PR #13949 | feat: add table engine delta

  • PR #13835 | feat: iceberg table engine

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

Databend 默认禁用 ClickHouse HTTP Handler

考虑到 Databend 自身驱动和周边生态的不断完善,本周起新引入配置项 enable_clickhouse_handler 用于控制是否启用 ClickHouse 兼容的 HTTP Handler ,默认值为 0 。

如有需要使用 ClickHouse HTTP Handler 的情况,可以执行下面的 SQL 语句启用支持:

set global enable_clickhouse_handler=1; 

  • PR #13965 | feat: add setting to disable clickhouse handler

使用 Borsh 替换 Bincode

由于 Bincode 在不同版本和不同使用方式的情况下,可能导致二进制不一致,在经过调研之后,Databend 使用 Borsh 替换 Bincode 用于聚合状态的序列化。

Borsh 的格式与 Databend 聚合状态的格式几乎相同,并且具有一致性保证,且遵循安全编码实践,具备良好的格式规范和性能。

  • PR #13997 | refactor: using borsh instead of bincode for serde agg function state

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 支持在达到内存限制时将 Sort 外溢。

  • 支持 internal stream columns 。

  • 支持 SHOW LOCKS 。

  • 阅读文档 Docs | system.streams 和 Docs | system.stream_status ,了解如何使用系统表获取流相关信息。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

引入 PASSWORD POLICY

Databend 计划引入密码策略以满足用户对安全性的需要。通过设置密码策略,可以实现在尝试错误密码后拒绝访问,以及设置密码复杂性要求。

CREATE PASSWORD POLICY [ IF NOT EXISTS ] <name>[ PASSWORD_MIN_LENGTH = <integer> ][ PASSWORD_MAX_LENGTH = <integer> ][ PASSWORD_MIN_UPPER_CASE_CHARS = <integer> ][ PASSWORD_MIN_LOWER_CASE_CHARS = <integer> ][ PASSWORD_MIN_NUMERIC_CHARS = <integer> ][ PASSWORD_MIN_SPECIAL_CHARS = <integer> ][ PASSWORD_MIN_AGE_DAYS = <integer> ][ PASSWORD_MAX_AGE_DAYS = <integer> ][ PASSWORD_MAX_RETRIES = <integer> ][ PASSWORD_LOCKOUT_TIME_MINS = <integer> ][ PASSWORD_HISTORY = <integer> ][ COMMENT = '<string_literal>' ]

Issue #13994 | feat: PASSWORD POLICY

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。 

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend Website

  • GitHub Discussions

  • Twitter

  • Slack Channel

http://www.lryc.cn/news/263841.html

相关文章:

  • Arduino开发实例-液体流量测量
  • 【idea】解决sprintboot项目创建遇到的问题
  • ADC芯片CS1237在电子秤方案的优势
  • Leetcode的AC指南 —— 哈希表:202. 快乐数
  • 机器学习 项目结构 数据预测 实验报告
  • [Verilog] 设计方法和设计流程
  • C语言:指向数组的指针和指向数组元素的指针
  • SQL基础:SQL 介绍和数据库基础
  • SpringSecurity入门
  • iOS 应用在前台时显示通知
  • Hamming space
  • anaconda 安装 使用 pytorch onnx onnxruntime
  • Web请求与响应
  • ADS学习笔记(一)——更新中
  • 智能优化算法应用:基于冠状病毒群体免疫算法3D无线传感器网络(WSN)覆盖优化 - 附代码
  • 小型气象站是什么?
  • 官方指定Jmeter配置JVM堆内存方式
  • spark-常用算子
  • 《opencv实用探索·二十一》人脸识别
  • 前端项目配置下载源npm, yarn,pnpm
  • Elasticsearch之ik中文分词篇
  • 2023_Spark_实验三十:测试Flume到Kafka
  • urllib2 HTTP头部注入
  • 在 WebRTC 中,Offer/Answer 模型是协商 WebRTC 连接参数的关键部分
  • 数据结构:图解手撕B-树以及B树的优化和索引
  • useConsole的封装,vue,react,htmlscript标签,通用
  • Azure Machine Learning - 提示工程高级技术
  • 七款创意项目管理软件解决方案推荐:高效项目管理与团队协作工具
  • 如何在公网环境下使用Potplayer访问本地群晖webdav中的影视资源
  • 数据可视化Seaborn