StarryOS 与 AxVisor 统一 ArceOS

[AsakuraMizu]

计划

1. 检测依赖项是否有冲突：直接在 axvisor 里把 axcpu、axerrno 等依赖库 patch 成 StarryOS 的版本
   目前发现的冲突：
   • axplat 中我们修改了 IrqHandler 的定义，接收一个参数，和 axklib 中的定义有冲突：考虑把 axklib 移动到单独的 crate 中（它没有依赖任何 arceos 模块），并直接依赖 axplat，方便 patch
   • page_table_multiarch 进行了比较大的改动，需要先更新 axaddrspace
2. 合并 https://github.com/arceos-hypervisor/arceos/tree/hypervisor 与 https://github.com/Starry-OS/arceos/tree/trunk （我们目前已经整理好的代码部分，可以通过 unikernel 测例），跑通 AxVisor
3. 移植 https://github.com/Starry-OS/arceos 剩下的功能，只做必要的 commit 整理和接口兼容，跑通 StarryOS 和 AxVisor
4. 继续之前的 ArceOS 代码整理工作

待处理

[AsakuraMizu]

11.7 更新：

• axklib 已完成拆分：
  • https://github.com/arceos-hypervisor/axklib
  • refactor: remove axklib arceos-hypervisor/arceos#74
  • chore: update axklib git url drivercraft/axbsp#1
• page_table_multiarch 的冲突可以绕过：axaddrspace 和 axmm 无关，先继续用原始的版本
• 初步进行了合并的可行性验证：在 https://github.com/Starry-OS/arceos/tree/trunk 的基础上合并了 https://github.com/arceos-hypervisor/arceos/tree/hypervisor 的工作，并成功启动 axvisor，相关代码链接：
  • https://github.com/Starry-OS/arceos/tree/dev
  • https://github.com/Starry-OS/axvisor/tree/dev
• 向上游仓库进行 PR：
  • fix(la64): set PTEFlags::D with MappingFlags::WRITE arceos-org/page_table_multiarch#24
  • feat: add more derive, more error kinds, bail arceos-org/axerrno#1
  • fix(bitmap): don't allocate more than available pages arceos-org/axallocator#5
  • feat: add conversion from AllocError to AxError arceos-org/axallocator#6

[AsakuraMizu]

axplat_crates 都进行了修改且差异较大：

• https://github.com/Starry-OS/axplat_crates
• https://github.com/arceos-hypervisor/axplat_crates

[AsakuraMizu]

11.14 更新：

• PR 进度
  • 上周的 PR 已全部合并，等待发版
  • refactor: add AxErrorKind, enhance AxError arceos-org/axerrno#2
• 代码合并：
  • https://github.com/arceos-org/axcpu/tree/dev
    • https://github.com/arceos-org/axcpu/releases/tag/dev-v0.3.0
  • https://github.com/arceos-org/axplat_crates/tree/dev

[AsakuraMizu]

11.21 更新：

• 基础组件：加入了 arceos-org:core，获取 crates.io 发布权限
  • https://github.com/arceos-org/axerrno
    • 发布 0.2.0
    • 采用 semver trick，发布 0.1.2 版本，将来自 0.2.0 版本的 AxErrorKind 导出为 AxError，实现跨版本兼容
    • 目前仍依赖 0.1 版本的组件无需更新
  • https://github.com/arceos-org/axcpu/releases/tag/dev-v03
  • https://github.com/arceos-org/axplat_crates/releases/tag/dev-v03
  • 这两部分改动很大，先以 tag 的方式发布稳定版本，非破坏性小更新可以直接改 tag，后续再推进整理和 review 工作
  • https://github.com/arceos-org/allocator 添加 axerrno 兼容并发布 https://github.com/arceos-org/allocator/releases/tag/v0.1.2
    • feat: release 0.1.2 arceos-org/axallocator#7
  • https://github.com/arceos-org/page_table_multiarch
    • 发布 0.5.6
    • feat: axerrno compatibility arceos-org/page_table_multiarch#25
    • https://github.com/arceos-org/page_table_multiarch/tree/dev 其他比较大的更改
  • https://github.com/arceos-org/riscv_plic: refactor: 0.2.0 arceos-org/riscv_plic#1
• Starry OS 组件：axerrno 的发布使得以下组件可以被发布到 crates.io 上了：
  • https://github.com/Starry-OS/axfs-ng-vfs
  • https://github.com/Starry-OS/starry-process
  • https://github.com/Starry-OS/starry-vm
• 以上修改已经在 Starry OS 上得到正确性和兼容性验证，仅需修改约 100 行代码
• 待处理：
  • https://github.com/Starry-OS/axdriver_crates
  • https://github.com/Starry-OS/axio
  • https://github.com/Starry-OS/axmm_crates
  • https://github.com/Starry-OS/axsched
  • https://github.com/Starry-OS/kernel_elf_parser (@Azure-stars)
• 这些工作主要的意义：不再需要在 Cargo.toml 里编写 [patch.crates-io] 了
  • 之前使用 [patch.crates-io]，是因为早期开发阶段破坏性更改较多，必须把版本号锁定到 git commit revision；由于 Rust 的语言特性认为同一个 crate 的两个不同版本里面定义的类型、特性等不能互相兼容，一个内核组件在所有地方的版本都必须一致；结果就是每一次都需要在所有依赖它的地方同步更新 rev。为了在保证构建正确性的同时还能快速迭代，我们用 patch 的方法强行把所有地方的版本统一覆盖掉，这样每一次更新就只需要改一个地方的 rev。

[AsakuraMizu]

11.21 晚更新：

• feat: improve compatibility with axerrno 0.1 arceos-org/axerrno#3
• chore: cleanup arceos-org/axmm_crates#10
• feat: axerrno compatibility arceos-org/axmm_crates#11
• feat: add page iter for huge pages and dynamic sizes arceos-org/axmm_crates#12
• feat: add all feature for doc and test arceos-org/page_table_multiarch#26

[AsakuraMizu]

11.27 更新：

• https://github.com/arceos-org
  • fix: use --cfg docsrs for document arceos-org/page_table_multiarch#27 发布 0.5.7
  • https://github.com/arceos-org/axerrno 发布 0.2.2，回退到 edition 2021
  • https://github.com/arceos-org/axdriver_crates/tree/dev
  • https://github.com/arceos-org/axmm_crates (memory_addr & memory_set) 发布 0.4.1
  • https://github.com/arceos-org/axio/tree/dev
  • Use linked list in RRScheduler arceos-org/axsched#5 by @Mivik
  • https://github.com/arceos-org/riscv_plic 发布 0.2.0
• https://Starry-OS
  • refactor: pin dependencies arceos#18 & refactor: pin dependencies StarryOS#49
  • refactor: axtask arceos#19 & refactor: axtask StarryOS#55

[AsakuraMizu]

11.28 更新：

• https://github.com/arceos-org/arceos/tree/dev
• fix: remove axplat dependency arceos-hypervisor/axklib#1
• feat: adapt to {axplat,axcpu}@dev-v03 arceos-hypervisor/axplat-aarch64-dyn#2
• feat: update axerrno to 0.2 arceos-hypervisor/axvm#33

[AsakuraMizu]

TODO:

预计今天晚些时候创建 tag dev-0.3.0 并接入 AxVisor
待解决：

• Bug: cannot run cargo any-command --all-features with log version 0.4.22 arceos-org/arceos#169

之后再创建 tag dev-0.3.1，先接入 StarryOS，再更新 AxVisor

[AsakuraMizu]

之前忘记更新了：

• refactor: migrate arceos to dev-251202 arceos-hypervisor/axvisor#317
• update arceos StarryOS#60 refactor(driver,net): migrate arceos#22
• chore: simplify TaskExt usage StarryOS#63
• refactor: migrate to new arceos branch StarryOS#68

[AsakuraMizu]

目前的项目组织方式：

• https://github.com/arceos-org/arceos/tree/main: 稳定版本
• https://github.com/arceos-org/arceos/tree/dev: 开发版本，同时支持 StarryOS 和 AxVisor，按日期发布：https://github.com/arceos-org/arceos/releases/tag/dev-251202
• https://github.com/Starry-OS/arceos/tree/dev: StarryOS 开发过程中产生的一些新提交

接下来需要做的：

• https://github.com/arceos-org/axcpu/tree/dev 等进一步完善后合并到主线并发版
• https://github.com/arceos-org/arceos/tree/dev 逐步合并到 https://github.com/arceos-org/arceos/tree/main
• https://github.com/Starry-OS/arceos/tree/dev 整理代码，先逐步合并到 https://github.com/arceos-org/arceos/tree/dev

[AsakuraMizu]

crates TODO:

• https://github.com/arceos-org/axio/tree/dev
• https://github.com/arceos-org/axcpu/tree/dev
  • https://github.com/arceos-org/axplat_crates/tree/dev
• https://github.com/arceos-org/axdriver_crates/tree/dev
• https://github.com/arceos-org/page_table_multiarch/tree/dev