Skip to content

MobileWorld Benchmark 中 Swipe 动作坐标反转及上下文历史长度咨询 #281

@imsleepy711

Description

@imsleepy711

您好,非常感谢团队开源这项优秀的工作!我最近在 MobileWorld Benchmark 上测试时遇到了一些问题,想向您请教。

  1. 问题描述:Swipe 动作坐标反转
    测试模型:
    GUI-Owl-1.5-8B-Instruct
    现象:
    在执行**向下滚动(Swipe Down)**操作时,两个模型输出的起点和终点坐标均出现反转。这导致实际执行效果并非向下滚动,而是向上或无效操作,从而使任务在这一步陷入死循环。

截图说明:
如下图所示,绿色点为预测起点,红色点为预测终点。可以看到对于向下滚动的意图,坐标方向是反的。

Image

复现数据:
该任务的完整轨迹日志已附在下方:

AdjustBrightnessMinimumTask.zip

请问这是已知问题吗?或者是我的模型参数配置有问题?
目前使用了 MobileWorld GUI-OWL 中的默认参数:temperature=0.0,top_p=1.0,history_n 改为了 5.

  1. 咨询:评估时的上下文历史长度
    关于公开的 AndroidWorld/MobileWorld 评测结果:
    在构建上下文(Context)时,默认是保留最近的 5 张图片吗?还是使用了其他长度的历史窗口?
    期待您的回复,再次感谢!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions