半精度和8bit量化的计算

[asurachqtan]

您好！我看了您的代码，发现目前版本只支持半精度浮点和8bit量化的存储，但是没有提供这两种类型的计算。最近我也在做半精度浮点计算和8bit量化计算的工作，不知道您是否有提供半精度浮点和8bit量化计算的打算？

[nihui]

半精度计算现在的硬件还不支持，8bit实际只是量化存储，读出来还是单精度浮点数

[asurachqtan]

@nihui 我们目前想做的是计算转换为8bit来进行 不知道精度损失会有多少 正在实现中

[qfdong]

转换为8bit的网络，需要重新retraining一下可以提高model的精度，我也在做类似的工作，希望能多交流

[ccJia]

@qfdong 请问你们在做8bit的乘法的时候，溢出问题严重吗？怎么规避的？

[qfdong]

@ccJia 我们在做量化的时候，会统计每层的输入，输出，以及参数的最大值，会选取合适的bit数来保证没有溢出的现象发生，然而每一层的layer的计算过程中，的确有可能溢出，中间的乘法的结果是存储在int类型来避免溢出，你是在什么平台上开发？这个受限于指令集

[ccJia]

@qfdong 我是在V8上面搞的，我没有动态的划分BIT数，中间乘法也是转存了一下。

[quietsmile]

请问，8bit优化在armv7上(3516/3519)有加速空间么？@ccJia @qfdong @nihui

[BUG1989]

理论上耗时缩减为原来的25%

[nihui]

move to #230