数据、system-prompt、action不匹配

[aoji0606]

你好，我在处理web数据遇到一些问题：

1.如data_20250421/web/下的数据没有step描述，但data_20250328/web/images/Process1/allrecipes_com/trajectory_1/navigation/0/trajectory.json中就有step描述
2.data_20250328/web/images/navigation_20250424.jsonl中的system字段和论文里的三个prompt都不一致
3.论文里的三个system-prompt中，后两个没有swipe的action，但我实际运行模型时经常推理出现swipe的动作，而且swipe的操作参数和论文的prompt中的参数也不对应
4.类似data_20250328/web/images/Process1/allrecipes_com/trajectory_1/navigation/0/trajectory.json文件中，有很多browser.web_scroll操作，这对应哪个action呢
5.使用web数据推理时，应该用哪个system-prompt呢？网页滑动的操作应该对应哪个action呢？
6.有的action中的坐标是整型数，有的好像是归一化到0-1的浮点型，prompt里引导模型输出小数坐标，我实际模型推理出来都是整形数坐标，训练时的坐标是怎么设置的？为什么输出的数字格式和prompt的提示不一致呢？

[aoji0606]

或者能否推荐一个日期下面的web的数据，还有system prompt。我想测试一下模型的web性能

[liu-zhy]

关于Web的system prompt请参考这里：https://github.com/OpenGVLab/ScaleCUA/blob/main/agent-sft/internvl_chat/internvl/conversation.py#L1449
把platform替换成Browser即可。

[liu-zhy]

关于1-4的问题，我们内部正在check。等有结论后，我们会跟您进行同步。

[liu-zhy]

关于网页滑动的操作应该对应哪个action，请参考https://github.com/OpenGVLab/ScaleCUA/blob/main/agent-sft/internvl_chat/internvl/conversation.py#L637
我们目前在web中使用swipe。另外你提到的“swipe的操作参数和论文的prompt中的参数也不对应“，请问具体是怎么不对应的呢？

[liu-zhy]

关于坐标问题，我们模型跟Qwen2.5VL是一致的。
annotation里用的是0-1，这是因为我们当时采集时，Qwen2.5VL还没出来。
我们在训练过程中，在线将0-1坐标转成Qwen2.5VL原生像素坐标。

[YangYzzzz]

关于问题4，当初数据采集初始阶段尚未统一动作空间，后续我们对annotation里的动作空间做出了修订，但是trajectory.json里面的动作空间或许还是老版本。请您尽量直接使用annotation或批量对web平台的trajectory.json进行一些后处理，对您造成的不便我们十分抱歉。关于问题1，我们没太理解没有step描述具体指的是什么，您是否方便截个图看下，祝好。

[aoji0606]

关于坐标问题，我们模型跟Qwen2.5VL是一致的。 annotation里用的是0-1，这是因为我们当时采集时，Qwen2.5VL还没出来。 我们在训练过程中，在线将0-1坐标转成Qwen2.5VL原生像素坐标。

收到，感谢您的回复

[aoji0606]

关于问题4，当初数据采集初始阶段尚未统一动作空间，后续我们对annotation里的动作空间做出了修订，但是trajectory.json里面的动作空间或许还是老版本。请您尽量直接使用annotation或批量对web平台的trajectory.json进行一些后处理，对您造成的不便我们十分抱歉。关于问题1，我们没太理解没有step描述具体指的是什么，您是否方便截个图看下，祝好。

感谢您的回复，我看到了后来的annotations目录，比如我现在处理data_20250328_web_navigation_20250428.jsonl这个文件，里面的标注可以得到task描述、Previous operations、action等信息，其中每个step对应的数据如data/data_20250328/web/images/Process1/allrecipes_com/trajectory_1/navigation/0/trajectory.json，我读取里面的这些step描述、bbox坐标框作为groundtruth，这样理解有问题吗？

[YangYzzzz]

没问题的