【亲测有效】AutoDL 磁盘空间不足?清理回收站释放实例磁盘空间的方法 【亲测有效】AutoDL 磁盘空间不足清理回收站释放实例磁盘空间的方法在使用 AutoDL 跑深度学习项目时经常会遇到一个很奇怪的问题明明已经在 JupyterLab 中删除了数据集、模型权重或者训练结果为什么磁盘空间还是没有释放尤其是数据集动辄几十GB一个文件夹删除之后AutoDL 控制台显示的磁盘占用却几乎没有变化。这种情况一般不是文件没有删除而是类似于你的Windows系统的回收站你删除的文件被放进了 AutoDL 的回收站Trash。事实上你在删除 AutoDL 文件的时候其也会提示“移至回收站”。本文将介绍 AutoDL 实例中清理回收站、释放系统盘和数据盘空间的方法。文章目录【亲测有效】AutoDL 磁盘空间不足清理回收站释放实例磁盘空间的方法1 AutoDL 中为什么删除文件后空间没有释放2 查看当前磁盘使用情况3 清理 AutoDL 系统盘回收站3.1 查看回收站大小3.2 查看回收站中的文件3.3 清空系统盘回收站4 清理 AutoDL 数据盘回收站4.1 查看数据盘回收站大小4.2 查看其中的文件4.3 删除数据盘回收站5 关于 AutoDL 磁盘空间不足的更多提示5.1 一条命令检查到底是谁占用了磁盘5.1.1 检查 /root 下的大文件夹5.1.2 检查数据盘5.2 如果你要顺便清理 Conda 缓存5.3 .cache 也可能占用大量空间5.4 其他常用的 AutoDL 清理命令总结查看磁盘情况查看系统盘回收站清理系统盘 JupyterLab 回收站查看数据盘回收站清理数据盘回收站查看系统盘最大的目录查看数据盘最大的目录6 总结参考资料1 AutoDL 中为什么删除文件后空间没有释放AutoDL 实例中一般有系统盘和数据盘。其中系统盘位于/数据盘挂载在/root/autodl-tmp。JupyterLab 默认工作目录为/root。AutoDL 官方文档说明/root/autodl-tmp是单独的数据盘挂载目录因此这里的数据不会占用系统盘空间。如果通过 JupyterLab 文件管理器删除文件一些文件并不会立即物理删除而是进入回收站。因此会出现这种现象假如你删除了一个 30GB 的数据集在 JupyterLab 中已经看不到文件但是磁盘还是占用了 30GB。这是因为.Trash 回收站实际上还保存着文件。所以当 AutoDL 磁盘爆满时第一件事就是检查回收站并清空回收站释放实例磁盘空间。2 查看当前磁盘使用情况打开 AutoDL 的终端。先执行source~/.bashrcAutoDL 官方文档推荐通过该命令查看当前系统盘、数据盘等空间使用情况。也可以使用 Linux 常见命令df-h查看各个磁盘的使用情况。例如可能看到Filesystem Size Used Avail Use% overlay 30G 28G 2G 94% ...如果系统盘已经达到 90% 甚至 100%就需要尽快清理。3 清理 AutoDL 系统盘回收站如果你是在 JupyterLab 中删除/root下面的文件首先检查/root/.local/share/Trash这个目录。AutoDL 官方文档明确将其标注为JupyterLab 的回收站。3.1 查看回收站大小执行du-sh/root/.local/share/Trash例如26G /root/.local/share/Trash如果这里占用了几十 GB那么基本就找到磁盘空间被占用的原因了。3.2 查看回收站中的文件如果担心误删可以先查看ls-alh/root/.local/share/Trash通常里面可能包含“files”、“info”等等目录其中真正被删除的文件通常位于/root/.local/share/Trash/files。可以继续查看du-sh/root/.local/share/Trash/files或者ls-alh/root/.local/share/Trash/files确认这些文件确实不再需要。3.3 清空系统盘回收站确认文件不需要以后执行rm-rf/root/.local/share/TrashAutoDL 官方提供的系统盘清理命令也是直接删除该目录。完成以后重新查看磁盘空间df-h或者source~/.bashrc通常就可以看到系统盘空间已经释放。4 清理 AutoDL 数据盘回收站如果磁盘爆满的不是系统盘而是/root/autodl-tmp那么要重点检查另一个隐藏目录/root/autodl-tmp/.Trash-0AutoDL 官方文档特别指出数据盘空间被大量占用时经常是垃圾桶没有清理可以检查/root/autodl-tmp/.Trash-0。4.1 查看数据盘回收站大小执行du-sh/root/autodl-tmp/.Trash-0如果输出类似45G /root/autodl-tmp/.Trash-0那就基本找到问题了。4.2 查看其中的文件先不要急着rm -rf。执行ls-alh/root/autodl-tmp/.Trash-0或者查看各个文件/目录占用du-sh/root/autodl-tmp/.Trash-0/*2/dev/null确定都是不再需要的数据后再删除。4.3 删除数据盘回收站执行rm-rf/root/autodl-tmp/.Trash-0然后查看数据盘空间df-h或者source~/.bashrc此时之前被回收站占用的空间应该已经真正释放。5 关于 AutoDL 磁盘空间不足的更多提示5.1 一条命令检查到底是谁占用了磁盘如果检查了回收站以后发现它并不大那么可以继续寻找其他大目录。5.1.1 检查/root下的大文件夹执行du-sh/root/* /root/.[!.]*2/dev/null|sort-hr|head-20它会按照文件夹大小从大到小排列例如18G /root/miniconda3 12G /root/.cache 8.5G /root/project 4.2G /root/.local这样就能快速定位到底是谁占用了系统盘。5.1.2 检查数据盘执行du-sh/root/autodl-tmp/* /root/autodl-tmp/.[!.]*2/dev/null|sort-hr|head-20需要注意ls默认不会显示以.开头的隐藏文件所以可能执行ls/root/autodl-tmp之后看起来数据盘里面没什么东西但实际上.Trash-0可能正在默默占用几十 GB。可以使用ls-alh/root/autodl-tmp查看隐藏文件。5.2 如果你要顺便清理 Conda 缓存如果是系统盘空间不足除了回收站之外AutoDL 官方还建议检查/root/miniconda3/pkgs/这个目录主要保存 Conda 下载和安装过程中产生的历史包时间长了可能占用不少空间。AutoDL 官方将其列为可以优先清理的目录之一。先查看大小du-sh/root/miniconda3/pkgs/例如9.6G /root/miniconda3/pkgs/确认后进行清理rm-rf/root/miniconda3/pkgs/*对于经常创建 Conda 环境的用户来说这里有时候也能释放好几个 GB。5.3.cache也可能占用大量空间AutoDL 官方也建议在系统盘空间不足时检查/root/.cache和/tmp等目录。例如 Hugging Face、PyTorch、pip 等工具都可能在缓存目录中积累大量文件。但不建议什么都不看直接删除。可以用这个命令查看du-sh/root/.cache最好继续找最大的子目录du-sh/root/.cache/*2/dev/null|sort-hr|head-20再根据实际情况决定哪些缓存可以清理。5.4 其他常用的 AutoDL 清理命令总结查看磁盘情况source~/.bashrc或者df-h查看系统盘回收站du-sh/root/.local/share/Trash清理系统盘 JupyterLab 回收站rm-rf/root/.local/share/Trash查看数据盘回收站du-sh/root/autodl-tmp/.Trash-0清理数据盘回收站rm-rf/root/autodl-tmp/.Trash-0查看系统盘最大的目录du-sh/root/* /root/.[!.]*2/dev/null|sort-hr|head-20查看数据盘最大的目录du-sh/root/autodl-tmp/* /root/autodl-tmp/.[!.]*2/dev/null|sort-hr|head-20清注意rm -rf属于 Linux 中非常危险的命令。AutoDL 官方文档特别提醒使用rm删除后的文件无法恢复。也注意避免删除自己不清楚用途的系统目录。6 总结AutoDL 使用过程中如果出现明明删除了文件磁盘空间却没有下降JupyterLab 里看不到大文件但磁盘依然爆满数据盘莫名其妙占用了几十 GB提示 No space left on device可以优先检查两个目录系统盘 / JupyterLab 回收站/root/.local/share/TrashAutoDL 数据盘回收站/root/autodl-tmp/.Trash-0确认里面的文件已经没有用了以后再分别通过rm-rf/root/.local/share/Trash以及rm-rf/root/autodl-tmp/.Trash-0进行彻底清理。很多时候一条命令就能找回来几十 GB 的空间。如果回收站并没有占用多少空间则继续检查/root/miniconda3/pkgs /root/.cache /tmp以及自己创建的数据集、模型权重、checkpoint 和日志目录。总之AutoDL 磁盘空间不足时不要第一时间重置实例先用du找到真正占空间的目录再有针对性地删除通常几分钟就能解决问题。参考资料AutoDL清理回收站