IOS Metal 推理 createSession 卡在 MetalRaster::onResize

[roachsinai]

平台(如果交叉编译请再附上交叉编译目标平台):

MacOS

Github版本:

2.8.2

编译方式:

直接编译的 project/ios/MNN 和 project/ios/demo 工程，然后在 demo 中添加的自己测试的模型

出现的问题

在使用 METAL 推理时，createSession 卡在一个 MatMul 算子的 onResize 处。

这个 MatMul 算子的两个输入的维度分别是 1x64x104x80x2x2 和 1x64x104x80x2x1 。

调试到 MetalRaster::onResize 发现会有一个特别大的循环：

MNN/source/backend/metal/MetalRaster.mm

Line 181 in 2d926e4

for (int i=0; i< des->regions.size(); ++i) {

这里 des->regions.size() 的值为 532480，而且每一次循环都非常耗时。

请教一下，这个较大的耗时，是因为 MatMul 的输入导致的么？

[jxt1234]

你的模型可以发来看下？这个问题可能是前面有个 tile 算子几何计算拆解不合理

[roachsinai]

好的，我先试试排查下模型的问题。

[roachsinai]

打开 MNN_PIPELINE_DEBUG=1 之后运行最后的回显如下：

160.446609, before Resize: /adaAT/Neg_output_0 - 0
2024-04-10 19:37:53.645390+0800 demo[22262:5310953] before Resize 2, calling: /adaAT/Neg_output_0 - 0
before Resize 2, calling: /adaAT/Neg_output_0 - 0 
2024-04-10 19:37:53.645542+0800 demo[22262:5310953] ===== 156
===== 157 
2024-04-10 19:37:53.645799+0800 demo[22262:5310953] 160.446609, before Resize: /adaAT/Mul_2_output_0 - 0
160.446609, before Resize: /adaAT/Mul_2_output_0 - 0
2024-04-10 19:37:53.646053+0800 demo[22262:5310953] before Resize 2, calling: /adaAT/Mul_2_output_0_raster_0 - 0
before Resize 2, calling: /adaAT/Mul_2_output_0_raster_0 - 0 
2024-04-10 19:37:53.646227+0800 demo[22262:5310953] ===== 158
===== 159 
2024-04-10 19:37:53.646501+0800 demo[22262:5310953] 160.446609, before Resize: /adaAT/Mul_2_output_0 - 1
160.446609, before Resize: /adaAT/Mul_2_output_0 - 1
2024-04-10 19:37:53.729138+0800 demo[22262:5310953] before Resize 2, calling: /adaAT/Mul_2_output_0_raster_1 - 1
before Resize 2, calling: /adaAT/Mul_2_output_0_raster_1 - 1 
2024-04-10 19:37:53.729273+0800 demo[22262:5310953] ===== 160
===== 161 

===== [num] 是我自己打印的 counter。

[roachsinai]

模型转换命令：~/aarch64/MNN/build/MNNConvert -f ONNX --modelFile ./small_pruned_random.onnx --MNNModel ./small_pruned_random.mnn --bizCode 0000

small_pruned_random.zip

[jxt1234]

已经有解决方案，等待验证与合并中

[jxt1234]

2.8.4 修正

[roachsinai]

感谢！但是 #2839 这个 pr 包含的东西太大了。大佬，有时间的时候，麻烦给个链接啥的看看哪些文件改动修复的。