当前位置: 首页 > news >正文

[针对于个人用户] 显卡与计算卡性能对比表

笔者使用 Quadro M4000 显卡用于 LLM 相关任务,但奈何该卡发布的年代过于久远,以至于 LLM 相关任务只能使用例如:Phi3 mini、Qwen 2 2B、GLM 4 8B 以及 Gemini v2 2B等小参数模型,且速度不堪理想,也经常因为显卡过热降频导致对话效率低下。

对于家用而言,不会去考虑那些特别新的 Tesla 计算卡,而会考虑一些旧的大显存平台,最好是大于10 GB 的显存,这样可以跑一些经过量化的、参数量高一些的模型。对于计算相关,推理相关的更应注重FP16的计算能力,如果有微调需求,同时也应注重FP32的计算能力。

最近总想着置办一张计算卡用于 Homelab 的 LLM 应用,但是市面上的计算卡/显卡种类太多了,有的时候不晓得要看哪一张显卡,故从TechPowerUp 网站摘录下表,以供参考。

显卡型号ChipReleasedVRAMBandwidthBF16FP16FP32FP64TDP (W)
Quadro M4000 (现役)GM204Jun 29th, 20158 GB GDDR5192.3 GB/sNanNan2.573 TFlops80.39 GFlops120
Tesla P4GP104Sep 13th, 20168GB GDDR5192.3GB/sNan89.12 GFlops5.704 TFlops178.2 GFlops75
Tesla P40GP102Sep 13th, 201624GB GDDR5347.1 GB/sNan183.7 GFlops11.76 TFlops367.4 GFlops250
Tesla P100 PCIEGP100Jun 20th, 201616GB HBM2732.2 GB/sNan19.05 TFlops9.526 TFlops4.763 TFlops250
Tesla P100 SXM2GP100Apr 5th, 201616GB HBM2732.2 GB/sNan21.22 TFlops10.61 TFlops5.304 TFlops300
GTX 1080GP104May 27th, 20168GB GDDR5X320.3 GB/sNan138.6 GFlops8.873 TFlops277.3 GFlops180
RTX 2080 TiTU102Sep 20th, 201811GB GDDR6616.0 GB/sNan26.9 TFlops13.45 TFlops420.2 GFlops250
Tesla V100 PCIeGV100Jun 21st, 201716 GB HBM2897.0 GB/sNan28.26 TFlops14.13 TFlops7.066 TFlops300
Tesla V100 PCIeGV100Mar 27th, 201832 GB HBM2897.0 GB/sNan28.26 TFlops14.13 TFlops7.066 TFlops250
Tesla T4TU104Sep 13th, 201816 GB GDDR6320.0 GB/sNan65.13 TFlops8.141 TFlops254.4 GFlops70
RTX3060GA104Sep 1st, 202112GB GDDR6360.0 GB/sUnknow12.74 TFlops12.74 TFlops199.0 GFlops170
RTX3060GA106Jan 12th, 202112GB GDDR6360.0 GB/sUnknow12.74 TFlops12.74 TFlops199.0 GFlops170
RTX3060 TiGA104Dec 1st, 20208GB GDDR6448.0 GB/sUnknow16.2 TFlops16.2 TFlops253.1 GFlops200
RTX 3080 TiGA102Jan 202220GB GDDR6X760.3 GB/sUnknow34.1 TFlops34.1 TFlops532.8 GFlops350
RTX 3090GA102Sep 1st, 202024 GB GDDR6X936.2 GB/sUnknow35.58 TFlops35.58 TFlops556.0 GFlops350
RTX 3090 TiGA102Jan 27th, 202224GB GDDR6X1.01 TB/sUnknow40 TFlops40 TFlops625.0 GFlops450
A100 PCIeGA100Jun 22nd, 202040 GB HBM2e1.56 TB/s311.84 TFlops77.97 TFlops19.49 TFlops9.746 TFlops250
RTX 4060AD107May 18th, 20238 GB GDDR6272.0 GB/sUnknow15.11 TFlops15.11 TFlops236.2 GFlops115
RTX 4060 TiAD106May 18th, 202316 GB GDDR6288.0 GB/sUnknow22.06 TFlops22.06 TFlops344.8 GFlops165
RTX 4070 SUPERAD104Jan 8th, 202412 GB GDDR6X504.2 GB/sUnknow35.48 TFlops35.48 TFlops554.4 GFlops220
RTX 4070 Ti SUPERAD103Jan 8th, 202416 GB GDDR6X672.3 GB/sUnknow44.10 TFlops44.10 TFlops689.0 GFlops285
RTX 4080AD103Sep 20th, 202216 GB GDDR6X716.8 GB/sUnknow48.74 TFlops48.74 TFlops761.5 GFlops320
RTX 4080 SUPERAD103Jan 8th, 202416 GB GDDR6X736.3 GB/sUnknow52.22 TFlops52.22 TFlops816.0 GFlops320
RTX 4090AD102Sep 20th, 202224 GB GDDR6X1.01 TB/sUnknow82.58 TFlops82.58 TFlops1,290 GFlops450
RTX 4090 DAD102Sep 20th, 202224 GB GDDR6X1.01 TB/sUnknow73.54 TFlops73.54 TFlops1,149 GFlops450
http://www.lryc.cn/news/434986.html

相关文章:

  • 2024年智能录屏解决方案全攻略,从桌面到云端
  • CentOS7.9下snmp v3 inform搭建监控端
  • 水库大坝安全监测方案,双重守护,安全无忧
  • yolov8实现图片验证码识别
  • 代码随想录训练营 Day56打卡 图论part06 108. 冗余连接 109. 冗余连接II
  • QT天气预报
  • JavaWeb中处理 Web 请求的方式总结
  • React的事件与原生事件的执行顺序?
  • 【Java】Runtime与Properties获取系统信息
  • 基于SpringBoot的社团管理系统
  • UE5.3_跟一个插件—Socket.IO Client
  • 鸿蒙轻内核A核源码分析系列七 进程管理 (1)
  • qt QGraphicsScene场景坐标和场景内GraphicsItem局部坐标的相互转换
  • Windows与linux中docker的安装与使用
  • some electronic products
  • 刘润《关键跃升》读书笔记7
  • 带参宏定义
  • java流
  • Java ArrayList扩容机制 (源码解读)
  • 『功能项目』管理器基类【38】
  • Flex布局最后一行元素的对齐的解决方案
  • 【ShuQiHere】上章:计算与计算机的基础概念
  • 前端框架有哪些?全面解析主流前端框架
  • 4G MQTT网关在物联网应用中的优势-天拓四方
  • 【网上商城项目结构】
  • VMware-Ubuntu Server安装教程
  • 从hadoop平台下载文件到本地Windows
  • MySQL-CRUD入门2
  • 高级java每日一道面试题-2024年9月06日-基础篇-Java中的PO、VO、BO、DO、DAO、DTO、POJO是什么意思?
  • MFC读取PC6408板卡输入信号实例