在超级计算机中通过Singularity运行容器
前言
之前 DeepSeek 爆火,我就想看看能不能直接在超算( Setonix )上跑一个满血版。DeepSeek 官方推荐了好几种部署方式。但是超算嘛,软件是很难装的,只能用已经有的模块,不过幸好超算其实也能跑容器。经过多番测试(吐槽一句: SGLang 的 Docker 镜像居然缺依赖,不是开箱即用的 ),最后决定使用 AMD 打包的 vLLM Docker 镜像 (因为 GPU 是 MI250X)。这篇文章主要是记录一下命令,方便后面忘了回来复习。最后的结果就是,还是没跑成功,因为 DeepSeek 满血版是 8bit 量化,但是 MI250X 不支持。需要 MI300 系列显卡才行。也可以下载转换成 16bit 的模型,不过得用4个节点才能跑起来。以后有机会再折腾。