Yumi's Blog

背景

最近在研究模型量化，手上有一台 Intel Xeon Gold 5318Y x 2 的服务器。Xeon Gold 5318Y 支持 VNNI 指令集。看看现在的 CPU 和 GPU 性能差距怎么样。

测试环境

我用了 Stable Diffusion 1.5 模型来进行测试。代码如下：

背景

为什么做这个项目呢？这是偶然间看到的一个idea，但是网上没找到相关的实现。于是我就想自己实现一个，反正写个prompt就搞定了。

三月十四日做的项目，还水了一个B站视频（ 我用AI做了一个每秒工资计算器，实时显示每秒工资，看看摸鱼赚了多少钱？！ ）。

前言

澳洲物价比国内贵，所以很多东西都舍不得买。毕竟赚人民币花澳币还是挺肉痛的。经过我一年多的经验，现在总结了如何省钱生存。

在澳洲主要就三个花费：学费、房租、吃饭。其中学费占大头，房租占小头。如果好好学习不出去玩，衣服啥的都是家里带，剩下的只有吃饭的开销了。 吃饭开销就波动很大了，如果天天出去吃，那可以吃得比房租还贵，如果自己做饭，一周房租可能等于一个月的饭钱。

题目

你可以多次掷一个六面骰子，每次得分为点数，累计为总收益；若掷出与之前相同的点数则收益归零，游戏立即结束。你可以随时停止，问最优停止时机是多少次，才能使期望收益最大？

前言

之前 DeepSeek 爆火，我就想看看能不能直接在超算（ Setonix ）上跑一个满血版。DeepSeek 官方推荐了好几种部署方式。但是超算嘛，软件是很难装的，只能用已经有的模块，不过幸好超算其实也能跑容器。经过多番测试（吐槽一句： SGLang 的 Docker 镜像居然缺依赖，不是开箱即用的 ），最后决定使用 AMD 打包的 vLLM Docker 镜像 （因为 GPU 是 MI250X）。这篇文章主要是记录一下命令，方便后面忘了回来复习。最后的结果就是，还是没跑成功，因为 DeepSeek 满血版是 8bit 量化，但是 MI250X 不支持。需要 MI300 系列显卡才行。也可以下载转换成 16bit 的模型，不过得用4个节点才能跑起来。以后有机会再折腾。