Lotus运维日常巡检做什么？

[maxvint]

Lotus日常运维巡检列表

作为一个Lotus的日(ku)常(bi)运维，每天应该做哪些事情，保证调度正常、不掉算力、机器乖乖听话呢？
下面为大家整理了一份日常运维巡检手册，前几条加粗的是重点要关注的，社区里面运维老鸟的更多经验，欢迎下面留言跟帖呀。

• 硬件设备日常运行状态监控
• 钱包余额检查，及时提醒充币 lotus-miner actor control list
• lotus daemon 区块同步检查 lotus sync wait
• 掉线的 lotus-worker 检查
  • lotus-miner storage list
  • lotus-miner sealing workers | grep hostname | sort -k4: 是否有disable状态
• 消息堵塞检查与疏通
  lotus mpool pending -local | grep Message | wc -l
• 调度程序工作问题排查
  lotus-miner sealing jobs 与 lotus-miner sealing workers | grep hostname
• 时空证明日常检查
  • Miner机器证明文件（证明文件目录中文件是否存在）
  • 时空证明的账户是否有消息堵塞
  • 节点机器使用lotus sync wait，查看是否同步到最新高度
  • 检查显卡驱动，nvidia-smi看一下驱动是否正常
  • 查看Miner进程（lotus-miner sealing job看进程在不在）
• 异常状态扇区处理 lotus-miner info
  • PreCommitFailed: lotus-miner sectors remove --really-do-it <sectorId>
  • SealPreCommit1Failed: lotus-miner sectors remove --really-do-it <sectorId>
  • CommitFailed: lotus-miner sectors update-state --really-do-it <sectorId> Committing
• 掉算力问题排查与恢复
• 定时任务脚本程序运行状态检查
  ps -ef | grep 程序名称

[h3z]

同时起了两个 lotus-miner（他们 ID 一样），遇到了时空证明失败，lotus-miner 的日志里可以找到报错

2021-03-13T22:03:30.120Z    �ERROR    storageminer    storage/wdpost_run.go:772    
found message with equal nonce as the one we are looking for 
(F:bafy2bzacecl3lgag2xb5wbu732gdos6sgq2cimle2byszfbr4xqixalhbawta n 59,
 TS: bafy2bzacecacnjjz7yd3yhdaxpox5nssytcfft76k37qoi6s3kjwag4cyrema n59)

关掉一个就好了

[rocklau]

爆块异常怎么检查。

[DancGo]

可以将以上各项检查用python脚本，加入corn计划任务定时执行吧？
关联到邮件预警，应该很方便运维了

[baimafeitu]

一个定时运行的Python程序可以替代在常规检查方面的人力投入，而且更加频繁和准确。

[he426100]

查看指定状态的扇区：lotus-miner sectors list --states <status>
查看扇区日志：lotus-miner sectors status --log <sectorId>