有关 all-in-source build 的实现办法

[SaeruHikari]

目的

项目里为了松散的代码结构，采用了插件的形式。插件在 Developer Mode 下以共享库的形式存在。
发布时，为了最大化性能，往往通过解析依赖链把所有要装载的插件源码编译到一个执行文件中。

疑问

我曾在 CMake 中简单实现了该功能，具体做法是收集模块的源文件、为源文件添加需要的预定义宏、最终直接把所有的源文件放进一个目标中进行构建。
在 XMake 中这样的做法貌似不可行（或者说实现一个对应的 rule 来替代 "c++" rule 比较困难）。现在的一个思路是，在正常构建流程之外，收集所有目标编译出的 .obj 文件，把这些 .obj 文件链接到一个可执行文件中。
有没有其他比较好的方案？如果收集 .obj 文件链接的话，流程应该怎么组织？🙏🙏

[waruqi]

走正常 static link 不行么？ 平常走 so 库，发布时候走 .a 静态库全部 link 到一个 binary，还可以开下 lto 啥的整体优化，每个 .a 里面原本就是一堆 obj 的归档。

为啥非要基于 obj 自己组织？如果非要这么搞，on_load 或者 before_link 里面取所有 target:deps() 然后将里面的 dep:objectfiles() 全部插入到 target:objectfiles()

[SaeruHikari]

走 static link 主要有两个问题

• static lib 里面的 static 变量如果不受引用的话不会被初始化，但是插件里很多注册器（比如 RTTI）是以孤立的 static 变量形式存在的。静态库会跳过这些初始化；
• 多个 static lib 里重复互相引用 static 变量的话，互相 link 会产生重复初始化的问题；

[waruqi]

windows 下面不行，链接器会直接忽略掉编译单元里的代码。

我试了下，.lib 里的 static 实例，还是一样被初始化了，即使没用到。没能复现你说的问题

同样是一个 windows DLL 问题，如果有多个 DLL 引用到同一个 static lib，那么每个 DLL 都会对 lib 里的 static 实例创建一个副本。有些时候多 DLL 无法避免 （比如有些引擎插件会在运行时被卸载，或者上游不提供源码，那插件就只能使用 DLL），这种情况下很难规避此问题。

但是你现在不就是为了去掉 dll，合并编译到一个二进制里面去了么，那这个时候没 dll 了，全走 static link 到一个可执行文件，也就没这个副本问题了吧，那为什么走 static link 不行呢。。

[BenzzzX]

dll 在开发过程中还是有很大的作用的，能减少链接的消耗加速开发。以插件形式的惰性动态加载来在不重新编译代码的前提下拔插一些特性也是重要需求（hotreload），甚至可以支持在 C++ 下做一些代码的热更（hotfix）。合并到一个二进制的需求主要是在发布的时候为了提升性能或者是因为某些特殊的平台限制才需要。

[BenzzzX]

lib 里的全局变量除非使用全量链接或者被（间接）引用都会被忽略

[SaeruHikari]

.lib 里的 static 实例，还是一样被初始化了

之前查过类似问题，有 --whole-archive 可以解决该问题。但是有的平台没有这个，且依然不解决第二个问题。

这个时候没 dll 了

有些插件需要动态装载卸载（类似 UE 的那个 GameFeature，通过装卸插件达到 DLC 之类的目的），或者闭源没有源码。。。这种情况下就只能 DLL。

所以自己提供一个 all-in-source 的 rule 来组织产物是更灵活的。

[waruqi]

dll 在开发过程中还是有很大的作用的，能减少链接的消耗加速开发。以插件形式的惰性动态加载来在不重新编译代码的前提下拔插一些特性也是重要需求（hotreload），甚至可以支持在 C++ 下做一些代码的热更（hotfix）。合并到一个二进制的需求主要是在发布的时候为了提升性能或者是因为某些特殊的平台限制才需要。

这个我知道，我只是没明白为啥不走 static link来合并，非得自己走源码和obj合并。

另外，即使不走 static link，还是走 static target + add_deps + set_policy("build.merge_archive", true)
也可以快速做到 所有依赖的 .a/.lib 全部自动抽取成 obj，然后合并到主 target 中去。见 https://github.com/xmake-io/xmake/blob/master/tests/projects/other/merge_archive2/xmake.lua