[oscamp 2025A] 张宇翔工作进展

[zhangyx827]

[zhangyx827]

本周进展

• 将sysfs改为SimpleFs在sysfs中加入了用于控制khugepaged 行为和控制全局的THP策略的文件 对文件的读写都是对内存中变量的读写。
• sys_madvise 实现了与THP有关的部分
• 在各个地址映射的Backend中加入了VmaFlags 用于khugepaged的检测
• AddrSpace结构体加入了scan_cursor方便khugepaged对memory area的扫描
• 加入了khugepaged线程 利用Round Robin从TASK_TABLE中选择进程，扫描进程地址空间，
• 实现了khugepaged对匿名映射后端的collapse

下周计划

• 处理在khugepaged对进程进行扫描的时候，进程退出的情况
• 让khugepaged能够处理共享内存后端和文件映射后端.
• 完善sysfs对khugepaged的控制
• 请求大页面失败时对内存碎片整理

[zhangyx827]

本周进展

• 修正重映射大页面的顺序问题：先将小页面中的内容拷贝到大页面中，然后直接将整块2MiB的地址映射到新分配的大页面中，最后再释放原先的小物理页面。（不会发生提前unmap小物理页面 ,当前扫描的地址空间所属的进程访问到了已经unmap了的页面,这并不是预期的结果)
• 完善CowBackend的对于被collapse的大页面的处理（能够在必要时刻拆分合成的大页)，使其能够在发生页面合成之后，处理sys_fork(clone_map) 和, sys_munmap(unmap), 只对其中的某一小块进行的情况(对大页面进行拆分，将大的2MiB物理页面拆分成512小的4KiB的物理页面拆分完之后，再进行操作，结果就是对4KiB的页面进行unmap或者clone)。以及在page_fault(populate)的时候，直接拆分大页面，无论是否是对齐的。
• 修正CowBackend对物理页的计数，让FRAME_TABLE对size为4KiB的area的页面的计数保持以4KiB为单位进行计数，即使合并为了一个大页面，通过frame_alloc分配了一个大页面之后，也不是对大页面单独进行计数，而是分别计数这个大页面中的512个4KiB的小页面。确保发生大页面拆分之后，计数能够保持正确（如果只计数一个大页面的话，无论是在拆分之后每个小页面的计数都是1还是每个小页面的计数都是原来大页面的计数，都是不正确的。）
• 使AddrSpace::find_free_area能够处理大页面的align
• 初步实现了FileBackend中tmpfs部分的页面合成,利用现有的evict_listener取消所有使用了物理页面的进程 对物理页面的映射。

下周计划

• SharedBackend FileBackend的处理
• 完善sysfs对khugepaged的控制
• 请求大页面失败时对内存碎片整理

[zhangyx827]

本周进展

• 扩展sys_madvise的实现 当advise为MADV_COLLAPSE无视各种全局策略, 强制合成THP,并且指定范围内的页面还没有映射的话，走page fault的那条路，通过populate将页面填充, 目前支持了CowBackend，
• MemorySet加入split_range 允许sys_madvise在必要的时候进行area拆分（对一个area的部分区域调用sys_madvise会类似sys_mprotect将area拆分）
• 映射栈内存的时候 通过backend的VmaFlags进行标记，以及CowBackend通过MAP_HUGETLB映射大页面的时候,通过VM_HUGETLB进行标记，sys_madvise或者khugepagd看到这个标记放弃合并.
• 将FileBackend和SharedBackend共用的部分放在axmm/backend/mod.rs中。
• SharedBackend 和 shm的内存改为依赖于CachedFile, SharedBackend,shm模块依赖的都是不挂载到根目录的内存文件系统SHM_FS(MemoryFs), 申请内存都会通过在这个文件系统中创建文件, 然后得到这个文件的CachedFile将这个得到的CachedFile作为内存后端
• 完善CachedFile支持合成大页面。在持有page_cache锁的情况下先将所有映射了2MiB范围内的小页面都unmap，这些进程如果写入该范围的话，发生page_fault尝试得到page_cache的锁而阻塞。然后再从page_cache中将512个页面中存在于cache中的页面复制到新的大page中，然后将小页面从page_cache中驱逐，将大页面放到page_cache, 最后再为当前扫描的进程重新映射一个大页面。
• page cache 支持2MiB page 一个大page 里面可以视为有多个小page, page_cache存储的page num不是连续的，若一个大page的页号为pn 那么它会覆盖[pn, pn + 512) 通过在PageCache中增加的字段size来区分大小page 提供locate_chunk的借口，便于将位于大页面范围内的小页面号转化为大页面号和页内的偏移号.
• 完善FileBackend内存文件系统tmpfs部分对于被折叠的大页面的处理

下周计划

• sys_madvise强制合成FileBackend与SharedBackend
• 支持FileBackend中只读的磁盘文件
• 完善page cache
• 测试，寻找bug

[zhangyx827]

本周进展

• 如果所要折叠的页面的范围在文件内的偏移和文件中已经存在的大cache发生重叠，为了避免拆分原有的大page,直接放弃折叠。如果是完全重叠，那么就直接修改页表映射，映射为PMD级别。
• locate_offset基于文件内的偏移得到在文件当中的页号
• 在CachedFile新增len()方法，返回底层文件的长度。
  • 对于FileBackend，映射的大小又超过了文件的大小，那么就会出现缺页的时候页面在文件内的偏移超过文件的大小，这个时候直接拒绝填充，对于可能填充为大页面的情况，如果最后合成的大页面的末尾在文件当中的偏移超过了文件的大小，就落回到用4KiB填充小页面，直到超出文件的大小。
  • 合成大页面的时候也通过这个方法来阻止合成的大页面超过文件的范围。
• 当文件unlink之后 如果文件的inode的引用计数变为 0，这个时候如果如果内存当中有这个文件的缓存，会尝试写回，因此在evict_cache中判断当前的offset是不是小于文件的大小，如果大于文件的大小就直接不处理 否则会导致整个系统直接奔溃
• 实现了PageCache对于大page的拆分。利用到新加入的from_addr来通过大page的512个小页面的首地址直接创建个512PageCache。
  • 对于大pageDrop之后，内存归还给global_allocator的问题，我是利用core::mem::forget夺走大page的变量的值的所有权，防止这个变量生命周期结束之后调用Drop将内存回收
  • 对于其他映射了这块大页的进程，做法是在EvictListener的listener函数中加入参数PageOperation 通过大page在拆分的时候调用listener函数的时候传入PageOperation::Demote参数，将他们对这块大页面的页表映射级别由PMD降为512个PTE。
• 利用PageCache的拆分，支持了FileBackend和SharedBackend的对大页面的拆分
• 实现系统调用sys_prctl中THP有关部分，从而加入了进程级别的是否可以对页面进行合成的条件判断。

下周计划

• 提交pr
• 测试找bug

[zhangyx827]

本周进展

• 将from_addr改为unsafe的

• 支持sys_mprotect拆分THP，AddrSpace中利用Backend加入的demote_huge, 只对2MiB aign的地址查页表，如果页面大小为PageSize::Size2M就拆分，FileBackend与SharedBackend拆PageCache

• 测试寻找khugepaged的bug，扫描一个进程的地址空间的时候，如果发现这个进程的下一个应该扫描的MemoryArea为None，说明这个进程已经扫描完了，将该进程的扫描指针重新设置为虚拟地址的起点

• 为khugepaged加入alloc_sleep_millisecs机制，当无法分配一个大页面的时候，利用axtask::sleep，进行睡眠，并放弃扫描当前的进程的地址空间

下周计划

支持内存回收

[zhangyx827]

工作总结

Starry部分
arceos部分
测试

StarryOS::core

khuge

• 利用axtask::spawn引入了khugepaged线程，在后台简易地通过round robin循环扫描TASK_TABLE中的进程。

shm

• 内存后端随SharedBackend改为CachedFile

StarryOS::api

vfs

• 将原先的sysfs由MemoryFs改为用SimpleFs(如果是MemoryFs的话，用户就可以在sysfs随便创建文件)来控制khugepaged以及内存后端的THP合成策略。

syscall::mm

• 支持当mmap大页的时候，能为这个大页寻找对齐的首地址。fix(mm): add align parameter to AddrSpace::find_free_area arceos#21
• sys_madvise 与THP有关的advise

page_table_multiarch

• 将一段连续的小页面的虚拟地址页表转换级别升级
• 将一段2MiB的虚拟地址的页表转换级别从PMD级转换，降为PTE级

axmm

• 各个内存后端的页面合成，拆分。
• AddrSpace为sys_mprotect支持THP的拆分(利用Backend提供的接口)
• 为sys_madvise提供MemoryArea的拆分

MemorySet

• shrink_left, shrink_right, split 发生的时候考虑后端的页面大小（否则会导致即使部分unmap HUGETLB大页也会拆掉MemoryArea)

axfs

• 支持2MiB大小的PageCache的合成和拆分，
• 各个内存后端合成大页面的时候，当无法分配一个2MiB的页。 提供接口，将没有被任何进程mmap的PageCache drop掉，来实现一个基本的内存的reclaim(各个UsageKind中, 手动回收PageCache的开销最小）。
• 发现evict_cache的sub overflow问题