Querybook：一个开源大数据查询分析工具

Querybook 是一款由 Pinterest 开源、基于 Web 浏览器的大数据分析集成开发环境（IDE），专为数据分析师、工程师及业务人员设计，致力于简化大数据查询、协作与可视化流程。

体系结构

Querybook 包含三个主要的组件：

• Web Server：处理 HTTP 请求，发送/接收 Websocket 消息，提供网站静态资源。
• Worker：执行查询语句和预计划的 DataDoc（交互式数据分析笔记），以及其他辅助任务，例如更新 ElasticSearch 或者分析查询血缘。
• Scheduler：从数据库中读取任务计划并发送给 Worker。

同时，Querybook 还包含以下基础设施：

• 数据库：用于存储 DataDoc、查询执行历史等信息。任何兼容 SQLAlchemy 的数据库都可以，推荐使用 MySQL。
• Redis：用于发送异步任务到 Worker，维护多个 WebSocket 连接，以及缓存实时数据进行协作编辑。
• Elasticsearch：支持数据库文档（DataDoc、表）的搜索功能，也用于表和用户的自动补全。
• 远程存储: 存储查询结果。Querybook 不限制从查询引擎拉取的数据量，因此推荐使用大型存储服务（例如 S3）。如果没有提供远程存储，将会使用数据库进行存储。

主要功能

Querybook 提供的主要功能包括：

• 集成多种查询引擎，包括 Presto、Hive、Druid、Snowflake、Big Query、MySQL、SQLite、PostgreSQL、SQL Server、Oracle 等；
• 基于富文本、SQL 查询以及图表构建数据分析笔记（DataDoc）；
• 支持查询语句的自动补全和鼠标悬停提示；
• 基于定时任务和图表构建可视化仪表盘；
• 支持团队实时协作编辑与评论；
• 支持表结构元数据管理；
• 支持 AI 助手，实现文本转 SQL、自动完成、错误修复等功能；
• 自动分析查询历史，构建数据血缘关系、高频用户画像及表使用排名；
• 支持查询结果导出 Google Sheets、Microsoft 365、Python 脚本等；
• 支持查询执行通知，包括 Email、Slack、Microsoft Teams。

下载安装

推荐使用 Linux 或者 macOS 系统运行 Querybook，首先克隆并下载代码库：

git clone git@github.com:pinterest/querybook.git
cd querybook

然后构建并运行 Docker 容器（需要提前安装 Docker）：

make

在浏览器中输入以下地址进行访问：

https://localhost:10001

详细信息可以参考下面的文档：

https://www.querybook.org/docs/setup_guide/setup_overview