fastdfs v5.08 升级问题疑问

[mulihong]

背景: 现在有容灾需求，想测试使用v6.13版本的新功能,读写分离特性

疑问:

1. v5.08版本能否在线升级到v6.13版本, 使用老版本的配置，和数据目录, 然后直接启动tracker和storage进程？
2. 在线升级时, 老版本和新版本能否兼容在一起, 轮询升级节点，中间也会有一段过渡时间?
3. 6.13 读写分离启动serverID, 对原来的使用方式是否有影响

客户端也会一起同步升级sdk

[happyfish100]

v5.08版本能否在线升级到v6.13版本, 使用老版本的配置，和数据目录, 然后直接启动tracker和storage进程？
完全兼容原有数据；关键配置项没有变化。建议直接升级到最新的 v6.15.1。

在线升级时, 老版本和新版本能否兼容在一起, 轮询升级节点，中间也会有一段过渡时间?
不可以混用，只能整体升级。

6.13 读写分离启动serverID, 对原来的使用方式是否有影响
对使用方式没有任何影响。

客户端也会一起同步升级sdk
需要同步升级。如果用到 nginx的fastdfs扩展模块，也需要升级。

[mulihong]

v5.08版本能否在线升级到v6.13版本, 使用老版本的配置，和数据目录, 然后直接启动tracker和storage进程？
完全兼容原有数据；关键配置项没有变化。建议直接升级到最新的 v6.15.1。

在线升级时, 老版本和新版本能否兼容在一起, 轮询升级节点，中间也会有一段过渡时间?
不可以混用，只能整体升级。

6.13 读写分离启动serverID, 对原来的使用方式是否有影响
对使用方式没有任何影响。

客户端也会一起同步升级sdk
需要同步升级。如果用到 nginx的fastdfs扩展模块，也需要升级。

1. 关于第二个问题，可能没有描述清楚, 3个节点做升级，也只能一次升级成功一个节点后, 再继续操作另外两台，一直到全部升级完成，这个期间会出现混用的情况，fastdfs集群会有问题吗？

2. 关于客户端升级，应用先提前把客户端升级完成，然后在升级fastdfs服务端，高版本客户端应该会向下兼容吧？是否可以这么操作。
   目前fastdfs-client-java 使用版本: 1.25 提前升级到 1.36

3. fastdfs使用读写分离，storage备份节点，配置为 rw=none， 应用的读写请求都不会到，异地机房的容灾节点吧？

[happyfish100]

关于第二个问题，可能没有描述清楚, 3个节点做升级，也只能一次升级成功一个节点后, 再继续操作另外两台，一直到全部升级完成，这个期间会出现混用的情况，fastdfs集群会有问题吗？
这种大版本升级，因为集群内部通信协议有变化，不同版本混用会报错，建议停止 FDFS 服务后升级（相当于停机升级）。

关于客户端升级，应用先提前把客户端升级完成，然后在升级fastdfs服务端，高版本客户端应该会向下兼容吧？是否可以这么操作。目前fastdfs-client-java 使用版本: 1.25 提前升级到 1.36
1.36和 1.37均支持向下兼容，可以兼容 FDFS V6.06 及后续版本，至于是否兼容V5.08，需要你们部署测试环境验证一下。
建议使用 FDFS 6.15.1和fastdfs-client-java 1.37

fastdfs使用读写分离，storage备份节点，配置为 rw=none， 应用的读写请求都不会到，异地机房的容灾节点吧？
正是如此。摘录一下 storage_ids.conf中的注释：for example, rw=none for cross data center disaster backup

[mulihong]

关于第二个问题，可能没有描述清楚, 3个节点做升级，也只能一次升级成功一个节点后, 再继续操作另外两台，一直到全部升级完成，这个期间会出现混用的情况，fastdfs集群会有问题吗？
这种大版本升级，因为集群内部通信协议有变化，不同版本混用会报错，建议停止 FDFS 服务后升级（相当于停机升级）。

关于客户端升级，应用先提前把客户端升级完成，然后在升级fastdfs服务端，高版本客户端应该会向下兼容吧？是否可以这么操作。目前fastdfs-client-java 使用版本: 1.25 提前升级到 1.36
1.36和 1.37均支持向下兼容，可以兼容 FDFS V6.06 及后续版本，至于是否兼容V5.08，需要你们部署测试环境验证一下。
建议使用 FDFS 6.15.1和fastdfs-client-java 1.37

fastdfs使用读写分离，storage备份节点，配置为 rw=none， 应用的读写请求都不会到，异地机房的容灾节点吧？
正是如此。摘录一下 storage_ids.conf中的注释：for example, rw=none for cross data center disaster backup

升级过程也需要一段时间，如果是整体停服时间太长，可能业务方不太能接受，内部继续沟通，
关于客户端先升级的事情，我们内部测试验证下。
感谢，大佬回复！！！

[mulihong]

关于第二个问题，可能没有描述清楚, 3个节点做升级，也只能一次升级成功一个节点后, 再继续操作另外两台，一直到全部升级完成，这个期间会出现混用的情况，fastdfs集群会有问题吗？
这种大版本升级，因为集群内部通信协议有变化，不同版本混用会报错，建议停止 FDFS 服务后升级（相当于停机升级）。

关于客户端升级，应用先提前把客户端升级完成，然后在升级fastdfs服务端，高版本客户端应该会向下兼容吧？是否可以这么操作。目前fastdfs-client-java 使用版本: 1.25 提前升级到 1.36
1.36和 1.37均支持向下兼容，可以兼容 FDFS V6.06 及后续版本，至于是否兼容V5.08，需要你们部署测试环境验证一下。
建议使用 FDFS 6.15.1和fastdfs-client-java 1.37

fastdfs使用读写分离，storage备份节点，配置为 rw=none， 应用的读写请求都不会到，异地机房的容灾节点吧？
正是如此。摘录一下 storage_ids.conf中的注释：for example, rw=none for cross data center disaster backup

测试了下fastdfs-client-java 1.37 兼容V5.08版本, 代码在关于tracker的连接的获取和关闭的地方,改三处地方就可以正常使用。

关于版本离线升级历史文件同步问题？

• 如果做离线版本升级，部署v6.15.2集群，然后把storage的tracker地址指向低版本v5.08的tracker地址，然后同步历史数据和增量数据完成，等数据同步完成，再把v6.15.2的storage的tracker地址指向自己集群的tracker重启，这样历史文件是不是就同步过来了，然后应用可以修改域名，就可以切换到v6.15.2版本的fastdfs集群了？ 这样同步历史数据是否可行？

• 单独部署一套fastdfs v6.15.2集群，然后v5.08的storage节点磁盘的历史文件使用 rsync 全量+增量同步拷贝到v6.15.2的storage的节点目录是否也可以了？

[happyfish100]

不建议做数据迁移，最好直接升级程序，v6.15.2 完全兼容v5.08 的数据。

[happyfish100]

测试了下fastdfs-client-java 1.37 兼容V5.08版本, 代码在关于tracker的连接的获取和关闭的地方,改三处地方就可以正常使用。
修改的是 fastdfs-client-java代码吗？能否在 fastdfs-client-java项目中提交一下 patch。

[mulihong]

不建议做数据迁移，最好直接升级程序，v6.15.2 完全兼容v5.08 的数据。

• 采用的离线升级的方案, 部署v6.15.2版本，从v5.08版本同步数据，因为在线升级会有较长的停服时间，所以放弃这个方案了。
  所以才会采用离线升级方案，现在需要考虑历史数据同步的问题。

[mulihong]

测试了下fastdfs-client-java 1.37 兼容V5.08版本, 代码在关于tracker的连接的获取和关闭的地方,改三处地方就可以正常使用。
修改的是 fastdfs-client-java代码吗？能否在 fastdfs-client-java项目中提交一下 patch。

• 修改的是业务的代码，就是初始化连接的时候, fastdfs-client-java 没改动。

[mulihong]

v6.15.2 开启server id特性, storage_ids.conf配置文件如下:

主集群节点

101001 group1 10.xxx.53.167:23000 rw=both
101002 group1 10.xxx.53.168:23000 rw=both
101003 group1 10.xxx.53.169:23000 rw=both

灾备节点（只接收同步）

201001 group1 10.xxx.55.1:23000 rw=none
201002 group1 10.xxx.55.2:23000 rw=none
201003 group1 10.xxx.55.4:23000 rw=none

应用升级客户端fastdfs-client-java v1.37, 连接fastdfs集群，fetch_storage_ids.have_allow_empty_field 参数默认true, 读取到的配置信息报错:
c.f.c.b.c.fastdfs.FastDfsConnectionPool : [FASTDFS初始化(init)--异常]
org.csource.common.MyException: invalid line: 201001 group1 10.xxx.xx.1:23000 rw=none

fastdfs-client-java 代码:
boolean without_port = true;
int count = 0;
String[] lines = builder.toString().split("\n");
String[] ipAddresses = new String[lines.length];

        for(String line : lines) {
            String[] cols = line.split(" ");
            if (cols.length != 3) {                                #文件读取有4列，会把灾备节点也读出来
                throw new MyException("invalid line: " + line);
            }

            String ipAddrs = cols[2];
            if (ipAddrs.indexOf(44) > 0) {
                ipAddresses[count++] = ipAddrs;
            }
        }

针对以上问题, 如果启动server id, 启动storage节点的容灾同步，客户端需要指定配置 fetch_storage_ids.have_allow_empty_field=false 吗？

[happyfish100]

v6.15.2 开启server id特性, storage_ids.conf配置文件如下:

主集群节点

101001 group1 10.xxx.53.167:23000 rw=both 101002 group1 10.xxx.53.168:23000 rw=both 101003 group1 10.xxx.53.169:23000 rw=both

灾备节点（只接收同步）

201001 group1 10.xxx.55.1:23000 rw=none 201002 group1 10.xxx.55.2:23000 rw=none 201003 group1 10.xxx.55.4:23000 rw=none

应用升级客户端fastdfs-client-java v1.37, 连接fastdfs集群，fetch_storage_ids.have_allow_empty_field 参数默认true, 读取到的配置信息报错: c.f.c.b.c.fastdfs.FastDfsConnectionPool : [FASTDFS初始化(init)--异常] org.csource.common.MyException: invalid line: 201001 group1 10.xxx.xx.1:23000 rw=none

fastdfs-client-java 代码: boolean without_port = true; int count = 0; String[] lines = builder.toString().split("\n"); String[] ipAddresses = new String[lines.length];

        for(String line : lines) {
            String[] cols = line.split(" ");
            if (cols.length != 3) {                                #文件读取有4列，会把灾备节点也读出来
                throw new MyException("invalid line: " + line);
            }

            String ipAddrs = cols[2];
            if (ipAddrs.indexOf(44) > 0) {
                ipAddresses[count++] = ipAddrs;
            }
        }

针对以上问题, 如果启动server id, 启动storage节点的容灾同步，客户端需要指定配置 fetch_storage_ids.have_allow_empty_field=false 吗？

这个问题我们找时间修复一下。

[mulihong]

v6.15.2 开启server id特性, storage_ids.conf配置文件如下:

主集群节点

101001 group1 10.xxx.53.167:23000 rw=both 101002 group1 10.xxx.53.168:23000 rw=both 101003 group1 10.xxx.53.169:23000 rw=both

灾备节点（只接收同步）

201001 group1 10.xxx.55.1:23000 rw=none 201002 group1 10.xxx.55.2:23000 rw=none 201003 group1 10.xxx.55.4:23000 rw=none
应用升级客户端fastdfs-client-java v1.37, 连接fastdfs集群，fetch_storage_ids.have_allow_empty_field 参数默认true, 读取到的配置信息报错: c.f.c.b.c.fastdfs.FastDfsConnectionPool : [FASTDFS初始化(init)--异常] org.csource.common.MyException: invalid line: 201001 group1 10.xxx.xx.1:23000 rw=none
fastdfs-client-java 代码: boolean without_port = true; int count = 0; String[] lines = builder.toString().split("\n"); String[] ipAddresses = new String[lines.length];

        for(String line : lines) {
            String[] cols = line.split(" ");
            if (cols.length != 3) {                                #文件读取有4列，会把灾备节点也读出来
                throw new MyException("invalid line: " + line);
            }

            String ipAddrs = cols[2];
            if (ipAddrs.indexOf(44) > 0) {
                ipAddresses[count++] = ipAddrs;
            }
        }

针对以上问题, 如果启动server id, 启动storage节点的容灾同步，客户端需要指定配置 fetch_storage_ids.have_allow_empty_field=false 吗？

这个问题我们找时间修复一下。

• 近期有修复计划吗？
• 如果使用fastdfs v6.15.2主集群开启storage id特性，然后部署fastdfs灾备集群storage节点同步数据，应用连接主集群显示开启配置: fetch_storage_ids.have_allow_empty_field=false 是正常能够使用的，但会不会有其方面的问题？有的场景还测试到，怕覆盖不全。

[mulihong]

不建议做数据迁移，最好直接升级程序，v6.15.2 完全兼容v5.08 的数据。

• 如果最终采用rsync文件跨集群同步，或者把v6.15.2的storage节点添加到v5.08版本的同一个group同步数据，这两种方式也是可行的吧？

[happyfish100]

对于 trackerd 和 storaged 这两个服务进程，因两个大版本的内部通信协议有变化，不能混用。

[happyfish100]

v6.15.2 开启server id特性, storage_ids.conf配置文件如下:

主集群节点

101001 group1 10.xxx.53.167:23000 rw=both 101002 group1 10.xxx.53.168:23000 rw=both 101003 group1 10.xxx.53.169:23000 rw=both

灾备节点（只接收同步）

201001 group1 10.xxx.55.1:23000 rw=none 201002 group1 10.xxx.55.2:23000 rw=none 201003 group1 10.xxx.55.4:23000 rw=none
应用升级客户端fastdfs-client-java v1.37, 连接fastdfs集群，fetch_storage_ids.have_allow_empty_field 参数默认true, 读取到的配置信息报错: c.f.c.b.c.fastdfs.FastDfsConnectionPool : [FASTDFS初始化(init)--异常] org.csource.common.MyException: invalid line: 201001 group1 10.xxx.xx.1:23000 rw=none
fastdfs-client-java 代码: boolean without_port = true; int count = 0; String[] lines = builder.toString().split("\n"); String[] ipAddresses = new String[lines.length];

        for(String line : lines) {
            String[] cols = line.split(" ");
            if (cols.length != 3) {                                #文件读取有4列，会把灾备节点也读出来
                throw new MyException("invalid line: " + line);
            }

            String ipAddrs = cols[2];
            if (ipAddrs.indexOf(44) > 0) {
                ipAddresses[count++] = ipAddrs;
            }
        }

针对以上问题, 如果启动server id, 启动storage节点的容灾同步，客户端需要指定配置 fetch_storage_ids.have_allow_empty_field=false 吗？

这个问题我们找时间修复一下。

• 近期有修复计划吗？
• 如果使用fastdfs v6.15.2主集群开启storage id特性，然后部署fastdfs灾备集群storage节点同步数据，应用连接主集群显示开启配置: fetch_storage_ids.have_allow_empty_field=false 是正常能够使用的，但会不会有其方面的问题？有的场景还测试到，怕覆盖不全。

问题已经修复，感谢反馈！获取fastdfs-client-java的 master 分支即可。