What is the implementation of embedding in PaddlePaddle

[bdluping]

We wanna know the implementation of the function embedding inside, but we can't find it using tools such as source insight. Could you guys help us to locate this function in the paddle project?

[lcy-seso]

• PaddlePaddle 中的 embedding layer 实现代码 ：https://github.com/PaddlePaddle/Paddle/blob/develop/paddle/gserver/layers/TableProjection.cpp
• Emebedding layer 在Paddle中是一个 projection， projection 是一种轻量级的layer，本身不能独立存在，只能作为 paddle.layer.mixed_layer 的输入。

[bdluping]

感谢定位。
我们在脚本里看到有以下处理流程：

data = paddle.layer.data("word",paddle.data_type.integer_value_sequence(input_dim))
emb = paddle.layer.embedding(input=data, size=emb_dim);
conv_3 = paddle.networks.sequence_conv_pool(input=emb, context_len=3, 
hidden_size=hid_dim)

我们其中，我们想自己替换embedding这一步，data转emb，data怎么解析，转成我们的向量后怎么封装成emb，查看embedding也就是相对其内部格式有一个了解，这样才能对接paddle.networks.sequence_conv_pool

[lcy-seso]

请参考此issue下面的回复，我会把这个问题加入paddle 的F&Q中：
#2812

[bdluping]

感谢 我们研究一下

[lcy-seso]

PaddleBook 中 SRL 一节，https://github.com/PaddlePaddle/book/blob/develop/07.label_semantic_roles/train.py#L142 使用了加载预训练参数，使用方法也可以参考这个例子。

[bdluping]

看了https://github.com/PaddlePaddle/book/blob/develop/07.label_semantic_roles/train.py#L142

感觉很有用，还请值班人员帮忙看看以下我的理解是否有误：

通过parameters.set，加载了预先训练出来的44068*32的矩阵（44068个词向量，每个词向量32维，每一维是个float32类型；该矩阵里的第i个词向量，i对应该词在词典里的位置），加载这个后，整个embedding层用该矩阵map，把输入里的word(词典位置) map成刚刚加载矩阵的对应的word向量，整个map完成后，输出给其他层使用。我们只需要加载自己训练的对应矩阵就可以达到自定义embedding的目的。

[hedaoyuan]

@bdluping 你的理解没有错。加载自定义的embedding，可以参考#2927 。

[bdluping]

好的 谢谢啦