模型和算力看板：Compute DashBoard

AGI 之路

AGI（通用人工智能）是整个计算机科学的圣杯，算力的增长和模型能力的提升（算法和数据）缺一不可。作为一个新质生产力，构建一个合理的评价体系是常用的方法论。针对模型和算力的评价，有类似MLPerf 这样的第三方评价组织， 但其数据主要依赖各个厂家进行提交，包含单机和服务器的各项指标，通常很难比较单一GPU或者单一模型的各项能力。

我们在选择云服务或者单机服务器时，基于现有模型如何匹配合适的算力，通常是一件糟心的事情，考虑到算力的昂贵，需要物尽其用，综合考虑现存/算力/带宽/散热 等影响因子。Compute DashBoard 从算力的角度出发，整理了各家国内外数据中心推理训练卡的各项参数，囊括了包含封装，互联以及算力指标等性能参数，可以为模型部署提供参考，同时如果你是一个芯片行业从业者，从产品角度，提供了一个竞品的功能和性能参考。

除此之外，Compute DashBoard 还提供了各个主流LLM开源模型在不同参数匹配情况下的Performance Benchmark， 包括首字延时/平均延时和吞吐。

使用指引

访问Compute DashBoard 网站：ostring.streamlit.app

进入主页后，Home 页是一个GPU Evolution 的Timeline 页面，希望呈现出各个阶段代表性的GPU 产品，AIGC 作为一个时代的Milestone， 产品也应该有它自己的Milestone，持续进化中。

GPUs 页面,我们可以选择芯片厂商，同时在对应的列表中选择支持的加速器产品

Models页面，目前支持市面上绝大多数开源的LLM模型，基于GPU 的性能数据，我们以柱状图的形式展示其在不同的GPU 平台上的延时和吞吐数据。

访问申请

Compute DashBoard 基于streamlit 作为开发框架快速搭建，基于streamlit community cloud进行部署。

• step1: 登录streamlit cloud注册一个账号
  

• step2: 关注微信公众号OString2024或者CSDN OString2024，后台私信您的streamlit 账号（邮箱号：xxxx@xxx.com）
  

• step3: 博主在后台添加对应账号即可访问：ostring.streamlit.app

由于模型性能数据均由个人租用真实GPU来进行性能读出并整理至数据库，租用GPU会产生一定费用, 因此访问申请会逐渐放开，或者考虑收取少量费用，敬请了解。

期待

欢迎大家后台反馈你们的需求。
后续还会持续上线：

• Diffusion/VIT 模型的benchmark；
• 充实GPU 家族
• 各厂家MLPerf 的性能结果