arm端opencl输出和cpu输出存在较大误差

[banbishan]

上图左边是cpu输出正确，右边是设置opencl后的输出，两者存在较大误差，下面是模型文件，烦请帮忙看下，谢谢。
平台是MT8163，ndk17交叉编译
20201013.zip

[darrenyao87]

目前已知的是OpenCL计算是fp16而arm是fp32，所以肯定存在差异。一方面 @shaundai-tencent 确认下差异是否正常，另一方面 @banbishan 可以看看对效果的影响多大。

[banbishan]

目前已知的是OpenCL计算是fp16而arm是fp32，所以肯定存在差异。一方面 @shaundai-tencent 确认下差异是否正常，另一方面 @banbishan 可以看看对效果的影响多大。

是个检测网络，后处理后的效果，检测的框有的两个框变成了一个，还有一小部分漏检。最终的效果目前来看无法使用，cpu的输出是可以使用的，但速度太慢。

[shaundai-tencent]

我排查了一下，发现是OpenCL在fp16精度下，global pooling层（419），中间累加结果溢出了。你可以先试一下FP32精度是否满足精度和性能要求。在配置NetworkConfig的时候设置为PRECISION_HIGH，可以开启高精度模式。

[banbishan]

我排查了一下，发现是OpenCL在fp16精度下，global pooling层（419），中间累加结果溢出了。你可以先试一下FP32精度是否满足精度和性能要求。在配置NetworkConfig的时候设置为PRECISION_HIGH，可以开启高精度模式。

@shaundai-tencent 我在代码里加上了config.precision = tnn::PRECISION_NORMAL;这句就报了如下的错误，

[shaundai-tencent]

我这边没有复现你的报错，我这边设置NORMAL也是可以的。我用的是Mate30Pro测试的。

后续我会修复一下pooling中avg pooling有可能溢出的问题，建议先用Normal的精度执行。

[banbishan]

我这边没有复现你的报错，我这边设置NORMAL也是可以的。我用的是Mate30Pro测试的。

后续我会修复一下pooling中avg pooling有可能溢出的问题，建议先用Normal的精度执行。

@shaundai-tencent 我使用normal和high都会报上面这个错，换了使用骁龙835的手机也是同样的，我的代码如下，使用的tnn是刚刚从github上clone的，在SetInputMat时报出上面图里的错，注释掉PRECISION_HIGH不会报错，能麻烦看下哪里的问题吗

int x,y,chanels_in_file=3;
    unsigned char* im_bgr = stbi_load(imagepath,&x,&y,&chanels_in_file,0);
    void* sourcePixelscolor = (void*)im_bgr;
    std::vector<int> nchw = {1,3,x,y};
    auto input_mat = std::make_shared<TNN_NS::Mat>(TNN_NS::DEVICE_ARM, TNN_NS::N8UC4, nchw,sourcePixelscolor);
    TNN_NS::TNN tnn;
    TNN_NS::ModelConfig model_config;
    //proto文件内容存入proto_buffer
    auto proto_tnn = fdLoadFile(model_param);
    auto model_tnn = fdLoadFile(model);
    model_config.model_type = TNN_NS::MODEL_TYPE_TNN;
    model_config.params = {proto_tnn, model_tnn};
     tnn.Init(model_config);

    TNN_NS::NetworkConfig config;
    if(div == "gpu")
        config.device_type = TNN_NS::DEVICE_OPENCL;
    else
        config.device_type = TNN_NS::DEVICE_ARM;
    config.precision = tnn::PRECISION_HIGH;
    TNN_NS::Status error;
    TNN_NS::MatConvertParam input_cvt_param;
    input_cvt_param.scale = {0.017, 0.017, 0.017, 0.0};
    input_cvt_param.bias  = {-2.117, -2.035, -1.804,0.0 };
    auto net_instance = tnn.CreateInst(config, error);
    auto status = net_instance->SetInputMat(input_mat, input_cvt_param);

    status = net_instance->Forward();
    RETURN_ON_NEQ(status, TNN_NS::TNN_OK);
    std::shared_ptr<TNN_NS::Mat> output_mat = nullptr;
    status = net_instance->GetOutputMat(output_mat);

[shaundai-tencent]

我提交了一个修复，在hotfix-issue#480分支上面，你可以试试fp16精度下有没有问题。你上面提到的问题我找个一样的机器复现一下。

[banbishan]

我提交了一个修复，在hotfix-issue#480分支上面，你可以试试fp16精度下有没有问题。你上面提到的问题我找个一样的机器复现一下。

已经试过e61dbae分支，fp16效果已经可以和cpu运行出的结果一样了，非常感谢。

[shaundai-tencent]

好的，我们会尽快合入master分支。

另外，我试了骁龙835和骁龙821两个机器，发现模型无法执行成功，是因为中间内存是使用2Dimage存储的，不同的GPU对于image的W和H限制不一样，835限制是16384。我们是将NCHW的数据格式转为了NHC4W4的格式，因此image的height为N*H，width为Round(C/4)W4，有些层超出了image的W的限制，所以内存无法分配成功。如果遇到类似的问题，只能调整NCHW的值来解决。

[banbishan]

ok，感谢。这样好像限制了模型中间layer的channel不能太大，C<=16384/W*4。

BTW，因为是setinput的时候报错，是setinput就已经计算中间层的内存使用量了吗，因为input好像是不会超出限制，round（3/4）*1280=1280<16384，或者16384是bit，1280*sizeof(float)>16384，是这样吗？

[shaundai-tencent]

需要 N*H < 16384 && Round(C/4)*W < 16384，和数据类型没有关系。你的网络里面最后965层的concat输出 NCHW为（1,512,320,240），这个就超出了。（16384的限制，不同型号的GPU限制不一样，比如麒麟980的限制是65536，这就可以跑了）

[cc0706329]

好的，我们会尽快合入master分支。

另外，我试了骁龙835和骁龙821两个机器，发现模型无法执行成功，是因为中间内存是使用2Dimage存储的，不同的GPU对于image的W和H限制不一样，835限制是16384。我们是将NCHW的数据格式转为了NHC4W4的格式，因此image的height为N*H，width为Round(C/4)_W_4，有些层超出了image的W的限制，所以内存无法分配成功。如果遇到类似的问题，只能调整NCHW的值来解决。

那fp16为什么没这个问题呢，中间内存2Dimage的宽高不是一样的吗

[shaundai-tencent]

跑的都是fp16，这个和数据类型没有关系