embedding_lookup相比tensorflow 速度变慢

[hadoop2xu]

GPU型号
GPU 0: GeForce RTX 2080 Ti
怎样调节batch_size、vocab_size、seq_len大小都比tensoflow要慢，
请问这符合预期吗？ 可能是什么原因呢

[feifeibear]

应该不会比tf慢吧。虽然没人会去单纯比较一个embedding层

[hadoop2xu]

应该不会比tf慢吧。虽然没人会去单纯比较一个embedding层

请问大佬，使用GPU该如何设置？
if (device_type() == kDLCPU) {
.......
} else if (device_type() == kDLGPU) {
.......
}

[feifeibear]

Python还是C++？python的话看example

[hadoop2xu]

Python还是C++？python的话看example
例子是from_torch的，如果没有预训练模型，直接用tf Tensor转的core::Tensor，调用底层的算子呢？

[feifeibear]

你如果已经把cpu model move to GPU了，然后再调用from_torch接口，那就自动在gpu上计算了。

[hadoop2xu]

你如果实现把cpu model move to GPU了，然后再调用from_torch接口，那就自动在gpu上计算了。
我想单独测试一下turbo的embedding_lookup算子，自己实现了一个接口直接调用turbo的LookupEmbedding函数，但是每次都跑在CPU上，程序中没找到创建core::Tensor时设置device_type的接口

[feifeibear]

首先你要让张量都放在cpu上，你可以调用Copy函数，显式转移数据。
其实真的duck不必单独加速embedding，就是加速到0延迟，也不会让你的bert变快。
See Amdahl's law

[hadoop2xu]

首先你要让张量都放在cpu上，你可以调用Copy函数，显式转移数据。
其实真的duck不必单独加速embedding，就是加速到0延迟，也不会让你的bert变快。
See Amdahl's law

解决了。embedding_lookup确实不是热点，我想通过embedding算子的替换做一点技术积累，之后看能不能做成一个算子库，可以灵活选择的那种。未来希望和硬件、编译走的更近些

[feifeibear]

TurboTransformers也需要人贡献算子库，比如conv1d这种算子还没实现呢，你愿不愿意involve进来？

[hadoop2xu]

TurboTransformers也需要人贡献算子库，比如conv1d这种算子还没实现呢，你愿不愿意involve进来？
好啊，大佬给我个join方式吧

[feifeibear]

readme底下有联系方式，你加我企业微信吧