AI基础设施企业TensorWave宣布,已经完成了北美地区最大AI训练基地的建设与部署,采用了多达8192块AMD Instinct MI325X AI加速卡。
同时,这也是全球首个已公开的采用直触液冷散热的大型AI数据中心。
AMD MI325X是去年刚刚发布的,采用5nm制造工艺,拥有304个计算单元(19456个核心)、1530亿个晶体管,FP8精度算力2.6千万亿次计算每秒,搭配256GB HBM3E高带宽内存(显存),带宽6TB/s。
虽然AMD最新发布了MI350X、MI355X,但部署尚需时日,MI325X仍然是已落地的最先进的AMD AI加速卡。
8192块放在一个系统内,总的核心数就到了几乎1.6亿个,FP8性能达到恐怖的2100亿亿次浮点每秒。
同时,显存总容量多达2048TB,总带宽超过2PB/s!
单卡功耗就有1000W,满载情况下一个小时就是8000多度电,确实需要配液冷,所有节点的GPU都使用了TensorWave自有的芯片直触液冷循环系统,确保高效带走热量。
这套系统将以云服务的方式,对外提供租赁服务。
这还只是TensorWave更宏大工程的第一阶段,预计今年晚些时候引入AMD MI350X,支持FP4/FP6格式,性能和带宽更猛,但功耗也将最高达到1400W。