[Question]: 真实环境DualVLN找不到目标

[Ruan1134]

Question

下面两张图中DualVLN总会出现目标找不到的情况,图1直接输出原地打转,图1直接左转了,这种如何解决或者可以往那个方向探索以提高识别成功率

[fengdelin]

可以先把sys2的输出可视化一下，看一下是否一直输出箭头，如果输出了向下的箭头，一般这个时候可以可视化一下sys2之后的输出，应该就是pixel坐标了。具体可以参考测评的代码。

[Ruan1134]

可以先把sys2的输出可视化一下，看一下是否一直输出箭头，如果输出了向下的箭头，一般这个时候可以可视化一下sys2之后的输出，应该就是pixel坐标了。具体可以参考测评的代码。

这只是将模型输出的数据确定,图1中我给的指令是走出大门,图2给的指令是enter through the open door between the two red firee xtinguishers on the left side.
我已经确定模型图1模型的输出是可以走到门外的,但由于g1无法准确走到模型位置和速度惯性导致异常
但是图2这种情况应该如何处理?

[fengdelin]

请问一下用的是原始的模型权重吗？我想知道出现向下箭头后，推理出来的pixel的坐标的可视化结果。由于我们训练数据切分的一些原因，pixel的点一般都是稍远的点，或者是分叉口，但是step87的图goal感觉有点奇怪，具体可以参考我们的demo上的点。

为了提高成功率，建议将摄像头稍微再朝下一点，将摄像头再放高一点。prompt的话可以再调整一下，比如go straight to the red fire extinguisher on the left side， and then ...