TODO List （希望提交代码贡献的请看这里~）

[chn-lee-yumi]

部分代码文件里面写着TODO。带有enhancement标签的issue都是TODO。欢迎同学们提交pr。相关issue列表请点击这里。

[chn-lee-yumi]

性能优化

下面是优化前，点击搜索的时候每个阶段所耗费的时间。（文字搜图，45698张图片，CPU为J3455）

select 3.7768518924713135
np.vstack 0.2203965187072754
image_features / np.linalg.norm 0.31235551834106445
positive_feature / np.linalg.norm 0.00014162063598632812
@ 0.01187276840209961
for 0.45302391052246094
2023-06-03 16:29:37,891 __main__ INFO 查询使用时间：4.84

select 3.7197060585021973
np.vstack 0.23151159286499023
image_features / np.linalg.norm 0.6224279403686523
positive_feature / np.linalg.norm 0.00013327598571777344
@ 0.01140451431274414
for 0.45082592964172363
2023-06-03 16:30:24,009 __main__ INFO 查询使用时间：5.10

数据库查询耗费了最多的时间，其次是结尾for循环（根据阈值进行过滤的部分）和对image_features进行norm计算的部分，然后是np.vstack。

整个匹配阶段似乎只有矩阵乘法（@）用到了多核心，这部分也只消耗了很短的时间。其它部分都只用到了单核。

---

优化措施

• 使用np.where替换结尾for循环后，时间从0.45秒降低到0.00013秒。优化后耗时约为优化前的0%。b83bc82
• 使用np.concatenate替换np.vstack后，时间从0.22秒降低到0.17秒。优化后耗时约为优化前的75%。bde96c0
• np.linalg.norm只能使用单核心。尝试了使用scipy.linalg.norm，性能更差。尝试用numba并发，效果不明显。最后通过多线程并发的方式来提升效率，实际测试线程数为4的时候CPU使用率约为200%。优化后耗时约为优化前的50%。556046f
• 数据库查询效率优化，将pickle.dumps和pickle.loads改成numpy自带保存和读取。优化后耗时约为优化前的65%。d11e8f5

---

优化结果

经过一堆优化措施，搜图的总耗时约为优化前的58%，搜视频大约是优化前的65%（搜视频没有记录数据，凭印象）。

[chn-lee-yumi]

• iPhone实况支持（Livephotoskit.js）
• 支持网络搜索
• 图片的url应该用随机唯一的命名来生成而不是有序的，不然别人可以通过链接轻松获取到别的图
• 支持分页显示，避免显示大量内容时浏览器卡死
• 添加功能开关：实时监听文件变化，有变化马上进行处理（扫描或删除）
• 处理失败的图片或文件支持输出列表

[chn-lee-yumi]

其它中文CLIP模型参考：https://zhuanlan.zhihu.com/p/613040311

如有其它模型需要，可能得自行改动代码，因为不是所有模型都兼容transformers.AutoModel。

[Jackxwb]

能否推出工作区或类似的功能？
比如：新建一个工作区，使用自己独立数据库，自己独立的扫描目录（动态修改）、过滤参数。
我想用来管理我的二次元图片，也想用来管理我拍的照片，但我不希望我搜索不同的照片时，搜出大量不是这个主题的图片。
如果只作为Window下的小工具，按需创建bat启动脚本也能实现，但我希望它常驻到nas上，然后需要的时候就能立刻搜索了

[chn-lee-yumi]

能否推出工作区或类似的功能？ 比如：新建一个工作区，使用自己独立数据库，自己独立的扫描目录（动态修改）、过滤参数。 我想用来管理我的二次元图片，也想用来管理我拍的照片，但我不希望我搜索不同的照片时，搜出大量不是这个主题的图片。 如果只作为Window下的小工具，按需创建bat启动脚本也能实现，但我希望它常驻到nas上，然后需要的时候就能立刻搜索了

这个可以考虑做。提需求建议新开issue。。。

[chn-lee-yumi]

@lynneTest 你的问题应该新开一个issue。这里不是发问题的地方。

[chn-lee-yumi]

排序性能测试：

threshold=10：
sorted 5.459785461425781e-05
heapq.nlargest(300,...) 3.24249267578125e-05

threshold=0：
sorted 0.01564311981201172
heapq.nlargest(300,...) 0.03566384315490723

排序用时占比非常小，所以代码保持使用sorted。

[chn-lee-yumi]