在超级计算机中挂载大型数据集压缩包
背景 我最近在搞 AffectNet 数据集，里面一百多万个文件。我用的是 Setonix 超级计算机，使用了 Lustre 文件系统，并且提供了一个 /scratch 分区给我们放临时文件。但是这个分区限制了
0%
2024年12月旅游记录（重庆、成都、长沙）
前言 2025年的第一篇博客献给去年12月的游记。本来应该早就开始写的了，因为这次旅游去了很多地方，玩了不少内容，怕写晚了都忘记有啥感想了。不
Robotics 学习笔记
发表于：
分类于：
学习
Problem Framework Markov Decision Process (MDP) Discrete time step, can be continuous space of action and state We don’t know the exact outcome of the action Once the action is performed, we know exactly what happened The agent’s state is known (fully observed) – observation and the state is the same here Formally defined as a 4-tuples (S, A, T, R): State Space Action Space Transition Function Reward Function Partially
Azure B系列虚拟机软中断很高的问题排查
发表于：
分类于：
折腾
前言 我在 Azure 有一台虚拟机，是 B1s 系列的。最近发现变得很卡，使用top命令排查发现sy和si都很高： %Cpu(s): 52.1 us, 21.9 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 26.0 si, 0.0 st 排查过程 鉴于
Azure Linux 服务器自动重启问题
发表于：
分类于：
折腾
问题描述 某日登录服务器发现我用screen挂起来的任务没了。看了下uptime发现系统启动时间不对，遂登录 Azure 查看虚拟机的 Activity log，发现： Install OS
神经网络训练一开始准确率很高然后逐渐下降的问题排查
发表于：
分类于：
学习
现象 神经网络训练，一开始准确率很高，然后逐渐下降。如下所示： Epoch Time Train Loss Train ACC Val Loss Val ACC Test Loss Test ACC LR 1 197.8234 0.0053 0.8645 0.0412 0.1443 0.0412 0.1443 0.0100 2 108.6638 0.0084 0.7311 0.0272 0.1443 0.0272 0.1443 0.0100 3 108.4892 0.0095 0.6777 0.0267 0.1443 0.0267
Setonix 的 PyTorch 环境的 ROCm 报错排查
前言 Setonix 是南半球最强大的超级计算机，也是我用过的最不稳定的超级计算机。平均一个月炸一次，例如升级固件升炸了，Lustre文件系统炸了等等…… 因
各个数据结构和算法的复杂度总结
排序算法 排序算法 最坏时间复杂度 平均时间复杂度 最好时间复杂度 空间复杂度 是否稳定 是否原地 选择排序 n^2 n^2 n^2 1 不是 是 插入排序 n^2 n^2 n 1 是 是 归并排序 nlogn nlogn nlogn
通过Nginx镜像网站
发表于：
分类于：
学习
前言 回想起很多年以前，国内有一些google的镜像站，当时就很好奇怎么实现的。多年以后，突然想起这件事，就试了一下。理论上可以镜像任何网站。