xmake是否支持类似 foreach 这样的循环控制，能动态批量定义 target？

[cjun714]

希望支持类似 foreach 这样的循环控制，能动态批量定义 target

需求描述

很多项目自带example，数目可能达到上百。
以raylib为例，examples目录结构类似这样：

├── physics
│      └── demo1.c
│      └── demo2.c
├── texture
│      └── demo3.c
│      └── demo4.c
├── shader
│      └── demo5.c
│      └── demo6.c
├── raygui
│

每个 demoXXX.c 生成一个执行文件 demoXXX.exe

它的 CMakeLists 是用这样的语句处理：

foreach (example_source ${example_sources})
    # Create the basename for the example
    get_filename_component(example_name ${example_source} NAME)
    string(REPLACE ".c" "" example_name ${example_name})
    
    # Setup the example
    add_executable(${example_name} ${example_source})
    
    target_link_libraries(${example_name} raylib)
    
    string(REGEX MATCH ".*/.*/" resources_dir ${example_source})
    string(APPEND resources_dir "resources")
    
    if (${PLATFORM} MATCHES "Web" AND EXISTS ${resources_dir})
        # The local resources path needs to be mapped to /resources virtual path
        string(APPEND resources_dir "@resources")
        set_target_properties(${example_name} PROPERTIES LINK_FLAGS "--preload-file ${resources_dir}")
    endif ()
endforeach ()

这个 ${example_sources} 中的条目也是通过另一个 foreach 读取指定的文件夹读到的。

期望的需求是：xmake.lua 可以根据给定文件夹，读取文件列表，动态生成等效几百个类似下面的配置：

target("demo1")
  add_files("examples/models/demo1.c")
  set_rundir("examples/models/")

target("demo2")
  add_files("examples/models/demo2.c")
  set_rundir("examples/models/")

........

我快速看了遍 xmake 文档，似乎还没有特性支持这类需求，也没类似example参考。
我试了下类似下面这样的语句无法直接在 xmake.lua 运行(错误好像是找不到 io)。

for dir in io.popen([[dir "g:\examples\" /b /ad]]):lines() do print(dir) end

请问是否有简单的方案或例子，能在 xmake.lua 已有的配置功能上完成这个目标？
谢谢！

[waruqi]

参考下 https://github.com/idealvin/co/blob/4a33724b91edabce231e699464fc775db1bc547c/test/xmake.lua#L13

[cjun714]

谢谢！很有用的参考，解决了。

function get_files(pattern)
  local res = {}
  for _, fi in ipairs(os.files(pattern)) do
    Item = {path = "", dir = "", filename = "", basename = "", ext = ""}
    local item = Item
    item.path = fi
    item.dir, item.filename, item.ext = fi:match("^(.-)([^\\/]-%.([^\\/%.]-))%.?$")
    item.basename = item.filename:gsub("%."..item.ext.."$","")
    table.insert(res, item)
  end
  return ipairs(res)
end

for _, fi in get_files("examples/audio/*.c") do
target(fi.basename)
  add_files(fi.fullpath)
  set_rundir(fi.dir)
end

能否考虑把上面的 get_files() 加到 xmake 的 api 里。
这个函数比较琐碎也不好记，而且这种场景也挺常见。
只要给个类似例子，用户即使不懂 lua 也能一下看明白，也不用额外再写函数。

另外中间发现个问题，请看下为啥print()会被执行多次？

每运行一次xmake，会打印4遍，有时是6遍，linux/window 都如此。
xmake --version 也会打印

[waruqi]

能否考虑把上面的 get_files() 加到 xmake 的 api 里。
这个函数比较琐碎也不好记，而且这种场景也挺常见。
只要给个类似例子，用户即使不懂 lua 也能一下看明白，也不用额外再写函数。

不考虑，每个用户需求各不相同，这种自己搞下也没几行

另外中间发现个问题，请看下为啥print()会被执行多次？

仔细看下文档描述域，脚本域说明。描述域仅用于简单配置，是会执行解析多次，正常。

复杂脚本请走脚本域
https://xmake.io/#/zh-cn/guide/syntax_description?id=%e6%8f%8f%e8%bf%b0%e5%9f%9f

[waruqi]

另外，这个实现有点复杂了，有 path.basename, path.extension, path.directory, path.filename 直接可用，文档里面也有接口说明

[cjun714]

我的意思不是merge我这段代码，这个代码不够健壮也不够灵活，但这类case其实挺多，比如

  for _, fi in get_files("src/**.h") do
    rename(fi.path,replace_suffix(fi.path,".hpp"))
  end

  for _, fi in get_files("image1/*.jpg", "image2/*.png") do
    cmd("tool/2webp", fi.path, "image3/"..fi.basename..".webp")
  end

和提供的 add_files() 类似，对不懂lua的人更友好。
不需要知道 path.xxx()，string.gsub() match() 这些api也能遍历文件，代码短也容易复用。
也包括copy mv rm mkdir basename这些常见的文件操作，xmake api能包装下就更好，用户不用碰os.xxx() 。
这种用法给个sample in doc一看就懂，靠常识就能搞定很多事。

https://xmake.io/#/zh-cn/guide/syntax_description?id=%e6%8f%8f%e8%bf%b0%e5%9f%9f 这个文档写的很好，但对于不懂lua的人比如我，其实没太大帮助，因为建立不起来概念。解决了这个问题再看，我才明白文档表达的概念和细节。

书的代码，很多都是类似这样的结构，比如
https://github.com/PacktPublishing/3D-Graphics-Rendering-Cookbook
每个demo就是一个xx.cpp，或者一个叶子目录包含几个.cpp，工程有几十甚至上百个，前置批处理工作还包括下载模型，贴图转换，解压。xmake用类似方式几行应该就能搞定编译。

for _, fi in get_files("examples/**.c") do
target(basename(fi.path))
  add_files(fi.dir.."*.cpp")
  set_rundir(fi.dir)
end

或者
for _, dir in get_leaf_dirs("examples/") do
target(dir.basename)
  add_files(dir.path.."*.cpp")
  set_rundir(dir.path)
end

同样 raylib 和 raygui 的 examle 结构还有点差异，一个是所有demo_xxx.c混在一个目录，一个是每个demo一个目录。
我直接合并了两个repo文件夹，不用考虑差异结构，也是几行就可以代替原先编译脚本。
https://github.com/raysan5/raygui/blob/master/examples/Makefile
https://github.com/raysan5/raylib/blob/master/examples/CMakeLists.txt

for _, fi in get_files("examples/**.c") do
target(fi.basename)
  add_files(fi.path)
  set_rundir(fi.dir)
end

xmake 能集成这些简单函数好处是可以统一规范化和简化脚本，不需要用户重复编写查询 lua doc，可读性也不错。xmake来保障这种遍历逻辑的健壮性，还搞不定再落到 lua api 解决。
这个问题我花了几个小时，先扫了遍文档，然后学lua api，github提问，看到回复和参考，再调试修改。
但如果内置+sample code in doc，这会是一个2分钟的成本。

anyway，个人意见，感谢提供这么好的工具，也感谢指导！

[waruqi]

你的版本

function get_files(pattern)
  local res = {}
  for _, fi in ipairs(os.files(pattern)) do
    Item = {path = "", dir = "", filename = "", basename = "", ext = ""}
    local item = Item
    item.path = fi
    item.dir, item.filename, item.ext = fi:match("^(.-)([^\\/]-%.([^\\/%.]-))%.?$")
    item.basename = item.filename:gsub("%."..item.ext.."$","")
    table.insert(res, item)
  end
  return ipairs(res)
end

for _, fi in get_files("examples/**.c") do
target(fi.basename)
  add_files(fi.path)
  set_rundir(fi.dir)
end

就算不用任何辅助函数，不也就两、三行代码的事情么，跟你刚封装的一堆对比下么，你用不用 get_files 一点区别都没有

因为 xmake 提供的任何基础接口，都已经完整针对性简化过得，并不是原生 lua

完全裸写的版本：

for _, filepath in ipairs(os.files("examples/**.c")) do
target(path.basename(filepath))
  add_files(filepath)
  set_rundir(path.directory(filepath))
end

我刚的意思是，你现在的需求，明明两三行代码的事情，连辅助函数都是完全没必要的。。完全可以用 path 接口更加精简

而且你对比 cmake 的那个版本，复杂度一目了然。。

另外，刚也说了，每个用户的需求各不相同，这种辅助函数的需求也是各不相同的，没法提供，而且自己特殊的一些常用接口，你也可以自己封装搞个 helper.lua 什么的，includes 引入进来使用

所以，不要因为我一开贴了个 example links 给你，里面用了 helper function ，你就必须这么用，很多需求场景，完全可以精简 不需要搞这么复杂

[cjun714]

我遇到这个问题面对的是一系列的小问题。
lua语法，
迭代必须要ipairs转一道，
io不能用，
lfs不能用，
path在其他语言和os，io都是并列标准库提供的，
那么path能不能用，作用范围是不是也和io一样受限，我不清楚，
如果不是你的指导，我也不知道path可不可用，sample里用path也都是只出现在内部作用域。

path的可用性是放在 api 文档里体现的，它是xmake内置实现，所以到处可用，也就可以用在描述域。
这对你来说是常识，因为你用作者眼光来看，是从上往下，差什么细节补什么细节。
但用户是从下往上，盲人摸象，不知道哪条是死路，不知道这条路再接哪条路是通的，也很难把这些碎片化的知识马上组织清楚。

同样我提的本质是类似其他语言里的 dir walkthrough 这样的api设计，回调塞给你每个遍历文件的 fileinfo，属性都剥好了放进了fileinfo对象，用户直接从对象上把属性拿出来用就行了，modtime，size这些属性都可以放。
用户只用关注 walkthrough 这个 api 用法和塞的fileinfo对象提供了哪些具体属性就可以了。
而且这在文档里也更容易被用户定位到。
你不用关心有没有 path.xxx()，stat 这种 api 、是否可用、作用范围是什么，用户也不用拿到文件名后，再自己一个个找 api 来剥离每个具体属性。
确实这很简单，但不熟悉你设计概念的人，完全不懂lua的人，走通还是费功夫的。
我理解也尊重你的取舍，谢谢。

[waruqi]

io fs 都能用啊，请在脚本域用 先看下文档 了解 脚本域 和 描述域的用途，和当前设计思想，里面都有说明

https://xmake.io/#/zh-cn/guide/syntax_description?id=%e6%8f%8f%e8%bf%b0%e5%9f%9f

你可以在脚本域干任何事情，甚至写个app出来都可以

io模块：https://xmake.io/#/zh-cn/manual/builtin_modules?id=io

另外，每个构建系统都有自己的设计规范，你觉当前设计不符合你的要求，lua阻碍了你的进一步使用，可以继续用 cmake

[cjun714]

意见没价值无视就行了，动不动呛人，何必呢