可观测、可恢复且不打扰用户的运维
读者：获授权管理员 · 核对日期：2026-10-04
版本与教学范围
以已安装版本和本地规范为准。先查看 sinfo --version；上游文档在核对时标注为 26.05。路径、分区、账户、模块、内存、MPI、GPU 和服务名称均依站点而定。以 ./ 开头的示例程序必须事先存在。这里只提供教学示例，不是已验证的部署配方，也不表示任何集群已被修改。 管理员操作仅供获授权运维人员使用，须有经审核的变更计划；不可由普通用户执行或直接复制到生产环境。
监控整个服务
监控应覆盖多个层面：控制器响应、队列趋势、节点健康、记账与数据库、存储容量和延迟、网络错误及应用失败模式。“节点全部繁忙”并不能证明集群健康或高效。告警应针对持续偏差和可操作故障，不应对每一个短暂等待的作业报警。
可从上面的只读命令开始，并结合适合本站的服务日志和硬件遥测。修改前先记录时间、受影响作业 ID 及节点名。公开故障报告时，不要暴露其他用户的路径、输入、令牌或项目细节。
仅管理员可执行的计划维护
# Authorized operator, approved maintenance window; example node name only.
scontrol update NodeName=compute01 State=DRAIN Reason="planned maintenance"
# Verify running work finishes and the node is safe to service.
squeue -w compute01
# Perform the separately approved repair and validation.
# Only after the fault is resolved and readiness is verified:
scontrol update NodeName=compute01 State=RESUME
示例仅供获授权管理员使用：先将节点设为 DRAIN 并记录原因，等待现有工作完成，再实施另行批准的维修与验证；确认健康后才执行 RESUME。
排空用于阻止新分配，同时允许现有工作完成，并不等于终止正在运行的作业。队列为空也不能单独证明节点可安全关机，还需核查系统活动并遵循站点流程。不要为了让面板变绿而恢复故障节点；应先确认健康、挂载、身份及小型测试作业正常。
升级前先准备恢复
非秘密配置应有版本历史；秘密信息应通过受保护流程备份。恢复计划应包含控制器状态和一致的数据库备份，并在隔离环境演练恢复。高可用不等于备份。升级前应阅读所选版本对应的升级路径及守护进程顺序。数据库结构变化可能使“只降级软件包”的回滚方式失效，必须保留经过验证的回滚方案，并通知用户可见变化。