【AI】生成式AI服务器最低配置

【背景】

考虑数据安全，又想用AI赋能企业内部的日常工作，答案只有一个，本地部署。
UI采用open-web-ui，模型用Ollama管理，在局域网做成SAAS服务。要组一个服务器，提供部门内部最多30个的API并发。以下为反复比对后得到的配置。
注意，之所以是最低配置，纯粹因为公司申请花钱麻烦，所以有条件的话当然直接双GPU，A100走起，320GDDR4走起。
穷人，只能花小钱办大事。
模型都是text generation，不涉及图片和视频生成。
每个单品硬件控制在5000元以下。

【具体配置】

"英特尔(Intel) i9-14900K
"金士顿（Kingston）FURY 128GB(32G×4)套装 DDR5 6000 台式机内存条
"技嘉（GIGABYTE）风魔 GeForce RTX 4070显卡
"技嘉Z790M AORUS ELITE/小雕/耐久主板
"技嘉（GIGABYTE）C102G全景式 机箱熏黑钢化玻璃侧透兼容360/240水冷散热器
"技嘉（GIGABYTE）AORUS 冰雕一体式CPU水冷散热器
"西部数据（WD） M.2 NVME 2230 SSD固态硬盘

【注意事项】

一些基础的注意事项包括，主板看是否支持14代CPU，版型是ATX还是MATX等，机箱需要匹配。
4070是穷人搞AI最有性价比的卡。
水冷必须一体式不然维护麻烦漏液风险大。
NVM读取速度快但要注意M2接口数量。
电源要看瓦数，目前这个配置至少要750W以上。

【实际效果】

用过再补充，希望能够足够跑服务。