一个最核心的问题

[nyjshinibaba]

作者你好，我想问一下这篇代码中的视觉do干预部分和语义do干预部分分别体现在哪里，按照我对论文的理解，视觉部分的do干预体现在LGCAM模块的前向过程中，语义部分do干预应该体现在求subject，action，object，question四个向量的过程中。由于代码内容比较多，您可否告诉我这两部分的do干预的近似逼近过程具体在代码的那里呢（SUTD数据集的），如果您能够告诉我，我将不胜感激！

[YangLiu9208]

老师/同学，

你好，首先非常感谢对我们工作的关注。下面我将分两部分回答你的疑问：
（1）sutd视觉do干预模块在Code/model/VLCIR_sutd_GAFN_bertv3.py中，具体如下：

核心模块是：

（2）sutd语义do干预：
语言语义do模块贯穿于问题特征提取，视觉语言融合模块，以及最终推理过程。
首先在问题特征提取阶段，我们提取了subject,relation,object以及整个句子四种feature embedding,代码参考Code/1_preprocess_questions_oie.py；
然后，在视觉语言融合阶段，我们分别针对subject,relation,object以及整个句子这四种feature embedding,执行了相对应的操作，最终融合得到最终结果，具体代码如下：

[nyjshinibaba]

好的，十分感谢您的回复，这使得我对您和您团队的工作有了更加深入的理解，还有个问题，sutd数据集用readme所提供的链接（onedrive）进行下载zip内容并不全，请问可否重新提供一个国内可以下载的链接（例如百度网盘等），如果可以的话，万分感激！

[YangLiu9208]

SUTD数据集不是我们团队的，我们无权提供下载链接，建议联系原作者。

[nyjshinibaba]

好的，谢谢您，最后一个问题，语义do干预的NWGM实现在代码具体的什么位置，视觉部分的基本上看您的回复找到了

[YangLiu9208]

语义do干预不采用NWGM实现，只有视觉干预才采用NWGM实现。

[nyjshinibaba]

那您能具体指出一个地方的语义do干预的实现方法么，因为仔细阅读了Code/1_preprocess_questions_oie.py没有体会到do干预在哪里计算的

[YangLiu9208]

1_preprocess_questions_oie.py目的是根据语义结构，提取subject,relation,object以及整个句子四种feature embedding，具体代码参见 https://github.com/YangLiu9208/CMCIR/blob/main/Code/preprocess/datautils/sutd_qa.py中process_questions_oie_keybert_bert2函数（2454行）。

[nyjshinibaba]

那么语义do干预操作体现在这个函数里的哪个具体操作呢，实在还是没找到，这个函数内容太多了

[darwann]

您好！请问原文中公式5对应的先验概率p(z)统计计算的代码在哪儿呀，还有公式6中乘p(z)再累加对应的代码在哪儿呢，感谢！！（代码太多了，没找到555）

[YangLiu9208]

请参考#2 (comment)