从姑苏区人工智能大模型基础设施招标｜学习服务器、AI处理器、GPU

本文讲述OAM 式集成服务器、AI处理器、GPU。

一、OAM 式集成服务器

基于开放加速模块（Open Accelerator Module，OAM）标准设计的服务器，具有模块化设计、高扩展性等特点，在人工智能和高性能计算领域应用广泛，以下是具体介绍：

架构设计：通常采用模块化设计，常见为 6U 架构，这种设计使得服务器在散热、供电、I/O 扩展性等方面能够更好地适配客户定制的 GPU 等组件，方便用户根据自身需求灵活配置硬件资源。

硬件配置：

• • 处理器：可支持多种处理器，如浪潮信息的元脑 NF3290G8 支持英特尔 ® 至强 ®6 处理器以及第五代 AMD EPYC™ 9005 系列处理器，能满足不同应用场景5对计算能力的需求。

  • 加速模块：支持 OAM 标准的加速模块，例如浪潮信息 NF5698G7 可在 6U 空间内支持 8 颗基于 OAM 高速互联的 Gaudi2 AI 加速器，为服务器提供强大的 AI 计算能力。

  • 内存与存储：部分服务器配备大容量内存，如 AMD 的 8U 8 - GPU 服务器配备 8 个 MI300X GPU，可拥有 1.5TB 的 HBM3 内存池，能存储完整的超大语言模型，同时还可根据需求配置相应的存储设备，满足数据存储需求。

  • 网络接口：具备高速网络接口，支持高带宽数据传输，如 NF5698G7 最大支持 4800Gbps 节点间互联带宽，可扩展至万卡 AI 集