当前位置： 首页 > news >正文

敏捷数据开发实践：基于 Amazon Q Developer + Remote MCP 构建本地与云端 Amazon Redshift 交互体系

news 2025/8/16 9:38:59

敏捷数据开发实践：基于 Amazon Q Developer + Remote MCP 构建本地与云端 Amazon Redshift 交互体系

新用户可获得高达 200 美元的服务抵扣金

亚马逊云科技新用户可以免费使用亚马逊云科技免费套餐（Amazon Free Tier）。注册即可获得 100 美元的服务抵扣金，在探索关键亚马逊云科技服务时可以再额外获得最多 100 美元的服务抵扣金。使用免费计划试用亚马逊云科技服务，最长可达 6 个月，无需支付任何费用，除非您选择付费计划。付费计划允许您扩展运营并获得超过 150 项亚马逊云科技服务的访问权限。

前言

数据驱动的开发场景中，本地工具与云端数据库的高效交互是提升效率的关键。本文聚焦 Amazon Q Developer + Remote MCP 访问 Amazon Redshift 方案，通过搭建 “本地 CLI - 中间服务 - 云端数据库” 链路，实现自然语言转 SQL 执行、内网安全访问等能力，帮助开发者简化 Redshift 数据查询流程，构建敏捷、可扩展的云端数据操作体系，适配快速迭代的开发需求

技术架构

在这里插入图片描述

本地环境中，Amazon Q Developer CLI 作为操作入口，向 MCP Server（stdio）发起请求，MCP Server 接收后，执行 SQL 语句并与 Amazon Redshift 数据库交互，构建起 “本地工具 - 中间服务 - 云端数据库” 的简洁数据处理链路，实现本地对云端数据库的操作与数据交互

  • 操作链路精简高效：本地通过 Amazon Q Developer CLI 直连 MCP Server，省去复杂中间环节，快速触发 SQL 执行流程，降低操作延迟，让开发侧与服务端交互更敏捷，提升日常数据操作效率
  • 精准的数据交互闭环：清晰构建 “本地工具 → 中间服务 → 云端数据库” 的交互路径，MCP Server 精准承接 CLI 指令并执行 SQL，保障数据操作精准触达，让本地开发对云端数据的读写、查询等需求，能稳定、直接地落地执行
  • 架构轻量易维护：整体架构聚焦核心功能，以最少组件实现 “本地 - 服务端 - 云端数据库” 连通，无冗余设计。后续运维只需关注 CLI 工具、MCP Server 及 Redshift 交互逻辑，降低系统复杂度与维护成本，适配快速迭代的开发场景

前提准备：亚马逊云科技注册流程

Step.1 登录官网

登录亚马逊云科技官网，填写邮箱和账户名称完成验证（注册亚马逊云科技填写 root 邮箱、账户名，验证邮件地址，查收邮件填验证码验证，验证通过后设 root 密码并确认）

在这里插入图片描述

Step.2 选择账户计划

选择账户计划，两种计划，按需选"选择免费计划 / 选择付费计划"继续流程

  • 免费（6 个月，适合学习实验，含$200抵扣金、限精选服务，超限额或到期可升级付费，否则关停）
  • 付费（适配生产，同享$200 抵扣金，可体验全部服务，抵扣金覆盖广，用完按即用即付计费）

在这里插入图片描述

Step.3 填写联系人信息

填写联系人信息（选择使用场景，填联系人全名、电话，选择所在国家地区，完善地址、邮政编码，勾选同意客户协议，点击继续 进入下一步）

在这里插入图片描述

Step.4 绑定信息

绑定相关信息，选择国家地区，点击"Send code"收验证码填写，勾选同意协议后，点击"验证并继续"进入下一步

在这里插入图片描述

Step.5 电话验证

电话验证填写真实手机号，选择验证方式，完成安全检查，若选语音，网页同步显 4 位数字码，接来电后输入信息，再填收到的验证信息，遇问题超 10 分钟收不到可返回重试。

在这里插入图片描述

Step.6 售后支持

售后支持：免费计划自动获基本支持，付费计划需选支持计划（各计划都含客户服务，可访问文档白皮书，按需选后点 “完成注册”，若需企业级支持可了解付费升级选项，确认选好即可完成整个注册流程 ）

在这里插入图片描述

Amazon Q Developer+Remote MCP 访问 Amazon Redshift

1、集成 Local MCP Server，创建 Python 虚拟环境

curl -LsSf https://astral.sh/uv/install.sh | sh# Create a new directory for your project (you've already done this)
uv init redshift
cd redshift# Create a Python 3.12 virtual environment
uv venv # Activate the virtual environment
source .venv/bin/activate# Install dependencies
uv add mcp fastmcp redshift_connector# Create our server file
touch redshift.py

2、准备 Local MCP Server 的 Python 代码 redshift.py

from mcp.server.fastmcp import FastMCP
from mcp.types import TextContent
from mcp.types import Resource, ResourceTemplate, Tool, TextContent
import redshift_connector
import osmcp = FastMCP(name="redshift", stateless_http=True)
REDSHIFT_CONFIG = {"host": os.environ['REDSHIFT_HOST'],"port": int(os.environ['REDSHIFT_PORT']),"database": os.environ['REDSHIFT_DATABASE'],"user": os.environ['REDSHIFT_USER'],"password": os.environ['REDSHIFT_PASSWORD']
}def _execute_sql(sql:str):with redshift_connector.connect(**REDSHIFT_CONFIG) as conn:conn.autocommit = Truewith conn.cursor() as cursor:try:cursor.execute(sql)columns = [desc[0] for desc in cursor.description]rows = cursor.fetchall()result = [",".join(map(str, row)) for row in rows]return [TextContent(type="text", text="\n".join([",".join(columns)] +  result ))]except Exception as e:return [TextContent(type="text", text=f"Error executing query: {str(e)}")]return None@mcp.tool()
def execute_sql(sql: str) :"""Execute a SQL Query on the Redshift clusterArgs:sql: The SQL to Execute"""return _execute_sql(sql)@mcp.tool()
def get_schemas(schema: str) :"""Get all tables in a schema from redshift databaseArgs:schema: the redshift schema"""sql = f"""SELECT table_name FROM information_schema.tablesWHERE table_schema = '{schema}'GROUP BY table_nameORDER BY table_name"""return _execute_sql(sql)@mcp.tool()
def get_table_ddl(schema: str, table:str) :"""Get DDL for a table from redshift databaseArgs:schema: the redshift schema nametable: the redshift table name"""sql = f"""show table {schema}.{table}"""return _execute_sql(sql)
if __name__ == "__main__":# Initialize and run the servermcp.run(transport='stdio')

3、通过 vim .amazonq/mcp.json 编辑 MCP Server 配置

{"mcpServers": {"redshiftserver": {"timeout": 60,"command": "uv","args": ["--directory","/path/redshift","run","redshift.py"],"env": {"RS_HOST": "your_redshift_cluster_host","RS_DATABASE": "default_is_dev","RS_SCHEMA": "default_is_public","RS_USER": "your_redshift_user","RS_PASSWORD": "your_redshift_password"},"transportType": "stdio"}}
}

4、运行 Amazon Q Developer CLI，列出当前的 MCP Tools

在这里插入图片描述

5、输入自然语言查询数据：查看 Redshift 中客户表的数据条数，Amazon Q Developer CLI 将其转换为 SQL 并执行，获取到查询结果

在这里插入图片描述

6、需要为 Amazon Lambda 函数构建 Layer，将相关依赖包放入 Layer 当中，通过如下脚本构建 zip 包，并上传至 S3 中

#!/bin/bash
mkdir -p layer_build
cd layer_buildcat > requirements.txt << EOL
fastapi==0.115.12
fastmcp==2.3.0
mcp==1.8.0
pydantic==2.11.4
uvicorn==0.34.2
redshift_connector
EOLpython3.12 -m venv create_layer
source create_layer/bin/activate
pip install -r requirements.txt
mkdir python
cp -r create_layer/lib python/
zip -r layer_content.zip python

7、创建 Amazon Lambda Layer

在这里插入图片描述

8、创建 Amazon Lambda 函数，创建用于部署 MCP Server 的 Amazon Lambda 函数

在这里插入图片描述

9、为了让 Amazon Lambda 函数通过内网访问 Amazon Redshift 集群，需要设置 Amazon Lambda 函数的 VPC 、子网和安全组，并配置 Amazon Redshift 集群的安全组入站规则，允许来自 Amazon Lambda 函数安全组的访问

在这里插入图片描述

10、创建 Amazon API Gateway

在这里插入图片描述

11、使用 Amazon Q Developer CLI 进行测试

{"mcpServers":{"redshift-remote-server":{"command": "npx","args":["mcp-remote","https://xxxxx.execute-api.ap-southeast-1.amazonaws.com/dev/redshift/mcp/","--header","x-api-key: you api key of api gateway"]}}
}

Amazon Q 介绍

Amazon Q 是一款生成式人工智能助手，专为企业和开发者打造，能改变组织工作模式。它整合多方数据，以自然语言交互，覆盖软件开发、商业智能分析、客户服务及供应链管理等领域，为员工提供专业功能，加速任务完成，深入洞察数据

  • 专业领域赋能：为软件开发人员、商业智能分析师等不同岗位人员提供针对性功能。比如开发者版可助力编码、测试、部署及故障排查等全流程任务；在商业智能方面，能让业务分析师用自然语言快速构建 BI 仪表板
  • 安全隐私保障：严格遵循身份、角色和权限体系，用户无法通过它访问原本无权接触的数据。其管理控件支持自定义授权，数据在传输和存储时均加密，且不会利用企业数据训练基础模型，确保企业数据安全与隐私
  • 广泛系统集成：内置超 40 个连接器，可连接如 Amazon S3、Salesforce、Google Drive 等常用企业应用和文档存储库，还能为内部 Intranets 等构建自定义连接器，打破数据孤岛，综合各类信息为用户提供服务

总结

本文围绕 Amazon Q Developer + Remote MCP 访问 Amazon Redshift 方案，构建了从本地开发到云端部署的完整数据交互体系。通过搭建 “本地 CLI - MCP Server - 云端数据库” 链路，实现自然语言转 SQL 执行的敏捷开发体验；结合 Lambda Layer、VPC 配置及 API Gateway，完成 MCP Server 远程化部署与内网安全访问。方案以精简架构提升数据操作效率，以安全配置保障链路可靠，为开发者提供了一套适配快速迭代需求的 Redshift 云端数据操作实践指南。

http://www.lryc.cn/news/622004.html

相关文章：

  • mysql-条件查询案例
  • C++从入门到实战（十九）C++ vector容器及其常用接口
  • dockerfile自定义镜像,乌班图版
  • 【开源大模型和闭源大模型分别有哪些？两者的对比？部署私有化模型的必要性有哪些？】
  • 解决zabbix图片中文乱码
  • Spring Boot 拦截器详解
  • HarmonyOS Camera Kit 全解析：从基础拍摄到跨设备协同的实战指南
  • 开源 Arkts 鸿蒙应用 开发（十六）自定义绘图控件--波形图
  • 成品电池综合测试仪：一站式评估性能与安全
  • Flutter 以模块化方案 适配 HarmonyOS 的实现方法
  • 嵌入式学习日记（29）进程、线程
  • 一分钟了解EtherCAT 分支器
  • Web攻防-大模型应用LLM搭建接入第三方内容喂养AI插件安全WiKI库技术赋能
  • Linux操作系统从入门到实战（二十三）详细讲解进程虚拟地址空间
  • 【数据可视化-90】2023 年城镇居民人均收入可视化分析：Python + pyecharts打造炫酷暗黑主题大屏
  • Redis 知识点与应用场景
  • Web 开发 15
  • webrtc编译arm/arm64
  • C# 中的 string / StringBuilder / 值类型 / 引用类型 / CLR 总结
  • KNN算法：从电影分类到鸢尾花识别
  • 标准电子邮件地址格式（RFC 5322 里的 mailbox 语法）
  • 机器学习之PCA降维
  • 大模型系列——从训练到推理：网页数据在大语言模型中的新角色
  • Autosar之CanNm模块
  • ScanNet项目介绍
  • Rust 入门 泛型和特征-深入特征 (十五)
  • 从“写代码”到“定义需求”：AI编程工具如何重构软件开发的核心流程？
  • 【Mysql语句练习】
  • PCA降维全解析：从原理到实战
  • epoll发数据学习