Optimization Note

记录优化性能上的探索

2020-04-16

尝试使用标称同等性能但推理速度显著提高（已知最大为原本的 5 倍）的 RegNet。
根据论文说明，选择和 EfficientNet-b2 相近的 RegNetY-1.6GF 对照。
首先测试纯粹推理性能：
排除预处理阶段下，同样对已经标准化的图像做推理 1000 次。
EfficientNet-b2 花费了 96.6482s，RegNetY-1.6GF 花费了 35.2964s，性能提升 60% 左右。
然后是检索鲁棒性测试：
使用自制数据集，包含裁剪、旋转、翻转、噪音等方法处理后的同一张图片共 12 张。
EfficientNet-b2 花费 0.77s，12/12 张匹配成功，RegNetY-1.6GF 花费 0.67s，8/12 张匹配成功。
结论：
由于实际运算开销主要集中在图像处理阶段，推理开销占比不大。
故实际加速抵不上鲁棒性降低的损失，没有足够的理由更换模型为 RegNetY-1.6GF。

2020-04-02

使用 onnx-simplifier 对模型简化，合并 BN 层的操作为模型带来了 40~55% 的性能提升。
在同样匹配结果下提速，故采纳新的优化方法并替换模型。