如何方便地创建私有的 build-artifacts 仓库

[cyfdecyf]

看了下 build-artifacts 仓库，想在公司内部的 CI 流程中也采用下载预编译包来减少 CI 执行时间。

是否有制作和发布预编译包的文档，以便能快速上手。（尝试在 issue 和网站上搜了下，但没找到。）

[waruqi]

这块目前是实验性的，且仅对 windows 预构建开启了。。因为考虑的问题比较多，尤其是二进制兼容问题

目前光 windows ，就需要根据 toolset + vs_runtime + arch 来处理兼容性，所以每种可能的组合，需要构建一份，然后根据 toolset 的向下兼容原则选取库文件

每个平台的二进制兼容性规则各不相同，macOS 上也许要判断 os 版本 + arch 等规则

而 linux 下各个发行版差异，兼容性处理更加复杂，外带还需要判断不同的编译工具链 gcc/clang 。

还有交叉编译的问题。。

[waruqi]

而且，目前由于预构建的存储问题，借用的 github release 存储资源，所有仓库跟 GitHub 强相关。。

如果只是自建 windows 预构建仓库，是可以做，但是不能用现有的 build 分支下 scripts 脚本，你得自己定制脚本，对接你的 ci ，然后按 main 分支包 manifest.txt 的格式，生成 url 和 manifest 放到 main 分支下。。存储可以放你们自己的私有存储。。

你可以研究先 build 分支的 scripts 里面的那两个脚本

[waruqi]

至于如果接入，跟源码仓库相同，走 xrepo add-repo 或者 add_repositories

[cyfdecyf]

谢谢回复。我研究下现有仓库里的代码看看。目前的需求只针对 x86_64 的 Ubuntu，但的确会涉及不同 Ubuntu 版本，使用不同的编译器。

单 C++ 这块需要区分是否开启 CXX11 ABI，用 gcc-4.8, gcc-9 (也可能用 gcc-11) 两种编译器分别编译创建。

C 库考虑在 glibc 最低版本的 Ubuntu 系统上编译，避免可执行文件依赖高版本 glibc。

实际会遇到哪些问题只有做了才知道。目前发现有些库最新版用 gcc-4.8 编译会出错，被迫降级。

[cyfdecyf]

看了下 build-artifacts build 分支的代码，想确认下如下流程是否正确：

1. 直接调用 xrepo install 构建特定的包
2. export 这一步，我目前从 pkg.lua 脚本指定配置，同时还会指定 toolchain 的方式还不支持用 xrepo export 导出，是否可以直接将安装目录去除 references.txt 之后直接打包？
   • 打包是否支持用 tar.gz 或者其他格式（bulid 分支代码里只处理了 windows，使用 7z）
3. 上传包到存储
4. 更新 manifest 文件
   • **对于 Linux，buildid 应该如何生成？**目前代码中只有 windows 的处理逻辑
   • 对于 xrepo install --toolchain=gcc-9 这种安装方式，编译器信息包含在 buildhash 中，是否不需要设置 toolset?

[waruqi]

export 这一步，我目前从 pkg.lua 脚本指定配置，同时还会指定 toolchain 的方式还不支持用 xrepo export 导出，是否可以直接将安装目录去除 references.txt 之后直接打包？

导出，目前就是整个 installdir 导出，去除了 references.txt

打包是否支持用 tar.gz 或者其他格式（bulid 分支代码里只处理了 windows，使用 7z）

这些都是 ci 脚本，和 scripts/build.lua 的处理，自己根据自己需要改，只要 xmake 能支持解压就行了。

**对于 Linux，buildid 应该如何生成？**目前代码中只有 windows 的处理逻辑

这就是难点，所以目前仅支持 win ， linux 需要计算哪些，考虑的因素比较多，且还得 xmake 内部支持，目前没有相关规范，暂时也没时间处理对 linux 的支持

对于 xrepo install --toolchain=gcc-9 这种安装方式，编译器信息包含在 buildhash 中，是否不需要设置 toolset?

toolset 是 msvc 特有的，其他平台不需要这个。。目前 buildhash 只包含 toolchain name ，并没有 编译的详细信息，version, abi 等，这些暂时也加不进 buildhash

[cyfdecyf]

这就是难点，所以目前仅支持 win ， linux 需要计算哪些，考虑的因素比较多，且还得 xmake 内部支持，目前没有相关规范，暂时也没时间处理对 linux 的支持

xmake 代码里搜索 buildid 看到了这里。目前按照这个规则来生成 buildid 的话，Linux 下 xmake 应该能支持使用吧？

[waruqi]

这个是粗粒度的，支持是支持的，但是不保证可靠，这个粒度没有考虑 linux 发行版信息，系统版本，编译器版本，abi 等信息，有可能会出现兼容性问题，导致链接出错。。

[cyfdecyf]

明白，目前 _select_artifacts_for_generic 这个粒度是缺乏很多信息。但对我目前限定只有 Ubuntu 以及两种编译器来说应该够用。

我先手工走了下流程，已经能够让 xmake 从指定的 http 服务器下载预编译文件。先试着用看起来，遇到问题再反馈。

未来 buildid 计算逻辑发生变化，我这边应该可以重新计算一遍更新 manifest 文件来做迁移。如果不更新 manifest 文件，也只是回归到从源码编译。