[BUG] 紧急，快照恢复失败且恢复中占用大量磁盘空间

[dark2star]

联系方式

[email protected]

1Panel 版本

v1.10.9-lts

问题描述

使用面板快照进行备份十几个G数据（其中加入排除目录无效，依旧把排除目录备份，因为目标快照数据没那么大，这点我目前不确定），最终形成12G的1panel_v1.10.9-lts_aarch64_20240603192422.tar.gz快照文件，然后在新的环境中恢复快照备份，首先使用同步将快照导入然后恢复，恢复大约耗费2小时，期间看到不断的tar操作，最终显示快照恢复成功，但结果只是导入了之前备份的镜像，没有恢复和生成容器，没有恢复网站，没有恢复证书，没有恢复数据库，没有恢复计划任务。重试了两次最终结果一致，其中还会形成类似于压缩包炸弹的结果，备份10多个G数据，第一次恢复过程中占用需要80多G磁盘空间，第二次占用67G磁盘空间。

23G     /opt/1panel/tmp
4.0K    /opt/1panel/apps
8.0K    /opt/1panel/docker
12K     /opt/1panel/log
4.0K    /opt/1panel/runtime
36K     /opt/1panel/cache
540K    /opt/1panel/resource
4.0K    /opt/1panel/backup
2.2M    /opt/1panel/db
23G     /opt/1panel
44G     /opt/1panel_original/original_1panel_v1.10.9-lts_aarch64_20240603192422
44G     /opt/1panel_original

重现步骤

1.使用系统快照备份
2.在新的环境中恢复快照
3.试试排除目录是否生效（疑问）

期待的正确结果

No response

相关日志输出

[2024-06-05 08:43:52] [DEBUG] synchronize system time with [pool.ntp.org] successful!  
[2024-06-05 08:43:55] [INFO] Starting synchronization with App Store...  
[2024-06-05 08:43:55] [INFO] [xpack] init db successfully  
[2024-06-05 08:43:55] [INFO] [xpack] migration run successfully  
[2024-06-05 08:43:55] [ERROR] init waf error openresty not found  
[2024-06-05 08:43:55] [INFO] [AppStore] download file from https://apps-assets.fit2cloud.com/stable/1panel.json.zip  
[2024-06-05 08:43:55] [INFO] listen at http://0.0.0.0:10086 [tcp4]  
[2024-06-05 08:43:55] [INFO] Starting synchronization of application details...  
[2024-06-05 08:44:05] [INFO] Synchronization of application details Success  
[2024-06-05 08:44:05] [INFO] Synchronization with the App Store was successful!  
[2024-06-05 08:45:26] [INFO] start to recover panel by snapshot now  
[2024-06-05 08:45:26] [DEBUG] tar --warning=no-file-changed --ignore-failed-read -zcf /opt/1panel_original/original_1panel_v1.10.9-lts_aarch64_20240603192422/1panel/1panel_backup.tar.gz  --exclude ./system --exclude ./system_snapshot --exclude *.sock -C /opt/1panel/backup .  
[2024-06-05 08:53:00] [DEBUG] tar --warning=no-file-changed --ignore-failed-read -zcf /opt/1panel_original/original_1panel_v1.10.9-lts_aarch64_20240603192422/1panel/1panel_data.tar.gz  --exclude ./tmp --exclude ./log --exclude ./cache --exclude ./db/1Panel.db-* --exclude .*.sock --exclude *.sock -C /opt/1panel .  
[2024-06-05 09:20:34] [DEBUG] handle backup before recover successful!  
[2024-06-05 09:29:41] [DEBUG] download snapshot file to /opt/1panel/tmp/system/1panel_v1.10.9-lts_aarch64_20240603192422 successful!  
[2024-06-05 09:29:42] [DEBUG] tar zxvfC /opt/1panel/tmp/system/1panel_v1.10.9-lts_aarch64_20240603192422/1panel_v1.10.9-lts_aarch64_20240603192422.tar.gz /opt/1panel/tmp/system/1panel_v1.10.9-lts_aarch64_20240603192422  
[2024-06-05 09:45:13] [DEBUG] decompress snapshot file successful!/opt/1panel/tmp/system/1panel_v1.10.9-lts_aarch64_20240603192422  
[2024-06-05 09:46:58] [DEBUG] recover app data from snapshot file successful!  
[2024-06-05 09:46:58] [DEBUG] the daemon.json file does not exist, nothing happens.  
[2024-06-05 09:46:58] [DEBUG] recover daemon.json from snapshot file successful!  
[2024-06-05 09:47:00] [DEBUG] recover 1panel binary from snapshot file successful!  
[2024-06-05 09:47:00] [DEBUG] recover 1pctl from snapshot file successful!  
[2024-06-05 09:47:00] [DEBUG] recover 1panel service from snapshot file successful!  
[2024-06-05 09:47:00] [DEBUG] tar -zxf /opt/1panel/tmp/system/1panel_v1.10.9-lts_aarch64_20240603192422/1panel_v1.10.9-lts_aarch64_20240603192422/1panel/1panel_backup.tar.gz -C /opt/1panel/backup .  
[2024-06-05 09:58:34] [ERROR] do handle untar failed, stdout: stderr: tar: Unexpected EOF in archive
tar: Unexpected EOF in archive
tar: Error is not recoverable: exiting now
, err: exit status 2  
[2024-06-05 09:58:34] [ERROR] recover failed, err: do handle untar failed, stdout: stderr: tar: Unexpected EOF in archive
tar: Unexpected EOF in archive
tar: Error is not recoverable: exiting now
, err: exit status 2 

附加信息

我想知道备份些什么东西，有没有想过假如我备份10G的数据，在另一个比备份数据大一点的磁盘根本没办法恢复，照我目前不乐观的情况备份10G数据可能需要8倍的空间就是80G磁盘才可能恢复

[ssongliu]

感谢反馈，排除目录这是怎么写的？可以看到 /opt/1panel 就有 23 G 了，快照还需要备份容器那些，会更大

/opt/1panel_original 是我们快照恢复前的备份文件，防止快照恢复失败系统不可用

[dark2star]

感谢反馈，排除目录这是怎么写的？可以看到 /opt/1panel 就有 23 G 了，快照还需要备份容器那些，会更大

/opt/1panel_original 是我们快照恢复前的备份文件，防止快照恢复失败系统不可用

之前快照写了排除目录没起作用，所以这次快照没做排除目录，感觉你们的备份机制有问题，要不是那个tar命令崩了，这个能把磁盘写满了，跟压缩包炸弹没区别了，最后恢复失败以后没有任何错误提示还显示恢复成功了。

[ssongliu]

感谢反馈，排除目录这是怎么写的？可以看到 /opt/1panel 就有 23 G 了，快照还需要备份容器那些，会更大
/opt/1panel_original 是我们快照恢复前的备份文件，防止快照恢复失败系统不可用

之前快照写了排除目录没起作用，所以这次快照没做排除目录，感觉你们的备份机制有问题，要不是那个tar命令崩了，这个能把磁盘写满了，跟压缩包炸弹没区别了，最后恢复失败以后没有任何错误提示还显示恢复成功了。

之前是怎么写的排除目录，可以贴一下吗？

[dark2star]

感谢反馈，排除目录这是怎么写的？可以看到 /opt/1panel 就有 23 G 了，快照还需要备份容器那些，会更大
/opt/1panel_original 是我们快照恢复前的备份文件，防止快照恢复失败系统不可用

之前快照写了排除目录没起作用，所以这次快照没做排除目录，感觉你们的备份机制有问题，要不是那个tar命令崩了，这个能把磁盘写满了，跟压缩包炸弹没区别了，最后恢复失败以后没有任何错误提示还显示恢复成功了。

感谢反馈，排除目录这是怎么写的？可以看到 /opt/1panel 就有 23 G 了，快照还需要备份容器那些，会更大
/opt/1panel_original 是我们快照恢复前的备份文件，防止快照恢复失败系统不可用

之前快照写了排除目录没起作用，所以这次快照没做排除目录，感觉你们的备份机制有问题，要不是那个tar命令崩了，这个能把磁盘写满了，跟压缩包炸弹没区别了，最后恢复失败以后没有任何错误提示还显示恢复成功了。

之前是怎么写的排除目录，可以贴一下吗？

我期望排除的目录是计划任务中备份的网站、数据库和特定的数据目录（10多个G），在之前的版本1.0.7中设置不起作用，所以之后就去掉了，这个不清楚你们是认为设置还是bug

[ssongliu]

你加一下我吧，我远程看看

[dark2star]

这次没加排除目录，之前以前加了不生效，这次备份去掉了

[ssongliu]

备份目录如果不加入快照文件，后续那些备份文件就无法正常恢复了