Question: 有办法阻塞等待writeback/writecache上传完成吗？

[slimtom95]

提出#3049的老哥自己找到了一个答案 #2644 —— 即umount可以阻塞等待所有writecache上传完成

那么在容器挂载(csi driver mount pod)场景下，挂载juicefs目录的容器（不是mount pod）内有没有手段等待指定目录的文件全部上传到远端对象存储？就比如#3049老哥问的sync这种命令。在容器内是无法执行umount的，也不适合直接进mount pod执行umount（可能有其他容器共用了这个mount pod）

[Xuyuchao-juice]

可以通过调用fsync()来阻塞式的上传单个文件，此外，close()文件时也会把此文件的cache全部上传

[slimtom95]

我尝试了下没用

1. format文件系统，format成功后把s3搞坏让他无法写成功

2. 挂载：
   ubuntu 22.04 juicefs版本 1.3.0-beta1+2025-04-22.0ae8ccd
   ./juicefs mount tikv://xxx/tmp-test /xxx/mount -d --writeback

3. 随便写一个文件
   cd /xxx/mount
   echo 123 > log

4. 观测到后台有staging writecache (以下是我还有些其他写入不是单纯一个echo）
   juicefs_staging_block_bytes 146854
   juicefs_staging_block_delay_seconds 18502.424608165
   juicefs_staging_block_errors 0
   juicefs_staging_blocks 11
   juicefs_staging_write_bytes 146854
   juicefs_staging_writing_blocks 0

5. 尝试调用fsync，我不知道怎么调，让gpt给了我两个方案
   由于我的对象存储已经搞坏了，理论上讲调fsync需要持续等待，因为不可能上传成功

5.1 sync命令
sync
sync log
基本上是立即返回的，没用

5.2 python os.fsync
python3 -c 'import os; fd = os.open("log", os.O_RDWR); os.fsync(fd); os.close(fd)'
立即返回也没用

5.3 手写fsync编译
cat < myfsync.c
#include <fcntl.h>
#include <unistd.h>
int main(int argc, char *argv[]) {
int fd = open(argv[1], O_WRONLY);
if (fd >= 0) {
fsync(fd);
close(fd);
}
return 0;
}
EOF

gcc myfsync.c -o myfsync
./myfsync /xxx/log
也是立即返回

6.再次查看staging指标
juicefs_staging_block_bytes 146854
juicefs_staging_block_delay_seconds 35130.530009
juicefs_staging_block_errors 0
juicefs_staging_blocks 11
juicefs_staging_write_bytes 146854
juicefs_staging_writing_blocks 0

[slimtom95]

噢，你是不是想描述文档里的这个意思？

客户端写缓存默认关闭，写入的数据会首先进入 JuiceFS 客户端的内存[读写缓冲区](https://juicefs.com/docs/zh/community/guide/cache#buffer-size)，当一个 Chunk 被写满，或者应用强制写入（调用 close() 或者 fsync()）时，才会触发数据上传对象存储。为了确保数据安全性，客户端会等数据上传完成，才提交到元数据服务。

但是我想问的是如果开启了写缓存，本地文件写完了，怎么等待写缓存上传完毕。

启用 --writeback 模式后，除了直接查看 /var/jfsCache/<UUID>/rawstaging/ 目录，还可以通过以下命令确定文件上传进度：
# 假设挂载点为 /jfs
$ cd /jfs
$ cat .stats | grep "staging"
juicefs_staging_block_bytes 1621127168  # 待上传的数据块大小
juicefs_staging_block_delay_seconds 46116860185.95535
juicefs_staging_blocks 394  # 待上传的数据块数量

像上面文档里提到这两种方式，都是要在挂载点根目录或缓存目录上才能进行，在容器里的进程没有办法这样访问

[slimtom95]

如果用sidecar + prestop结合一个很长的terminationGracePeriodSeconds，脚本再做些改造应该能基本满足需求了

https://juicefs.com/docs/csi/administration/going-production#client-write-cache