为什么ner_token_labels 里面没有包含扩充的OtherType的实体？

[chenxshuo]

** Problems **
请问为什么在NER模型训练部分输入进模型的ner_token_labels 里面没有论文中提到扩充的Money, Time等实体？

我发现在这里会对entity label 进行in的判断，判断基于的dict来自于 DEEExample。 但是这个list里面没有B-OtherType 和 I-OtherType.

[Spico197]

Hi，感谢对本项目的关注。
论文中提到的 OtherType 包括两类：

1. 原始 ChFinAnn 数据中已经包括的 OtherType （前提是要使用common_fields中包含OtherType的template）：

DocEE/dee/event_types/zheng2019_trigger_graph.py

Line 430 in c6640b3

common_fields = ["StockCode", "StockAbbr", "CompanyName", "OtherType"]

2. 使用正则匹配的（设置include_complementary_ents=True，在数据处理时hack）：

DocEE/dee/helper/dee.py

Lines 48 to 67 in c6640b3

	if inlcude_complementary_ents:
	# build index
	comp_ents_sent_index = defaultdict(list)
	comp_ents_start_index = defaultdict(list)
	comp_ents_end_index = defaultdict(list)
	for raw_field, ents in self.complementary_field2ents.items():
	# field = 'Other' + field.title()
	field = "OtherType"
	for ent, pos_span in ents:
	pos_span = list(pos_span)
	if ent not in detail_align_dict["ann_valid_mspans"]:
	comp_ents_sent_index[pos_span[0]].append(
	[ent, raw_field, pos_span]
	)
	comp_ents_start_index[(pos_span[0], pos_span[1])].append(
	[ent, raw_field, pos_span]
	)
	comp_ents_end_index[(pos_span[0], pos_span[2])].append(
	[ent, raw_field, pos_span]
	)

[chenxshuo]

谢谢回复! 数据处理里面的确向DEEExample加入了OtherType。 但是我发现在NERFeature 对象里面，缺少应当扩充的实体，就导致在用ner_token_lables训练NER部分的时候，ner_token_lables没有扩充的实体，也就没起到enhancement的作用？（针对的是DocEE-Fin）。我个人觉得是否应该在 此处 添加如下两行代码？

entity_label_list.append("B-OtherType")
entity_label_list.append("I-OtherType")

[Spico197]

是的您说的没错，看来是个bug。不过我建议在下面两个模板的common_fields中按需添加或删除OtherType即可，否则一旦硬编码至repo中，会不方便后续其他人做ablation study。我会更新一下新的template。

DocEE/dee/event_types/luge_with_trigger.py

Line 762 in c6640b3

common_fields = []

DocEE/dee/event_types/luge_without_trigger.py

Line 649 in c6640b3

common_fields = []

[chenxshuo]

的确~ 直接硬编码时如果不扩充的话就会有问题，感谢回复~

[Spico197]

感谢您对本项目的贡献

[Spico197]

Fixed in the latest version.