Question
hi,我通过自生成了一批lerobot格式的数据对InternVLA-N1-System2模型进行微调,但是得到的结果在s2评测时总是在执行完第一次完成的指令之后就抛出STOP,如下:
[06:03:44.250643] episode start Go into the kitchen area. Turn left. Take the first right into the dining area. Walk past the dining table. Stop left of the tall lamp with a white lampshade.
[06:03:45.077599] step_id: 0 output text: ↓
[06:03:45.077872] actions [5]
[06:03:46.540928] step_id: 0 output text (round 2): 430 529
[06:03:46.766167] predicted goal (round 2) [529, 430] [4.6183734 0.12711 1.8906212]
[06:03:46.903083] step_id 0 action 2
[06:03:47.718642] step_id 1 action 2
[06:03:48.498349] step_id 2 action 1
[06:03:49.265391] step_id 3 action 1
[06:03:50.147849] step_id 4 action 1
[06:03:50.991627] step_id 5 action 1
[06:03:51.785604] step_id 6 action 1
[06:03:52.572915] step_id 7 action 1
[06:03:54.894583] step_id: 9 output text: STOP
[06:03:54.894860] actions [0]
[06:03:54.993450] step_id 9 action 0
出现这种现象可能时什么问题导致的呢?并且针对Qwen2.5-VL-7B-Instruct的微调也同样出现上述问题?烦请作者解答
另外还想再请教一下,pixel goal反投影到实际物理世界的坐标系下,最好应该距离agent的区间应该设置多长呢?以及pixel goal我理解是无遮挡的最远轨迹点投影到lookdown视角下的像素点,那他是多远帧范围内的轨迹点呢?
Question
hi,我通过自生成了一批lerobot格式的数据对InternVLA-N1-System2模型进行微调,但是得到的结果在s2评测时总是在执行完第一次完成的指令之后就抛出STOP,如下:
出现这种现象可能时什么问题导致的呢?并且针对Qwen2.5-VL-7B-Instruct的微调也同样出现上述问题?烦请作者解答
另外还想再请教一下,pixel goal反投影到实际物理世界的坐标系下,最好应该距离agent的区间应该设置多长呢?以及pixel goal我理解是无遮挡的最远轨迹点投影到lookdown视角下的像素点,那他是多远帧范围内的轨迹点呢?