Qwen/Qwen2.5-VL-7B-Instruct PPO 训练报错 #7159
Comments
ulovecode
added
bug
|
I am also able to reproduce with qwen2.5-vl-7b, using vllm==0.7.3 |
|
We recommend using EasyR1 for RL, the RL implementation in LlamaFactory is temporarily bugged: https://github.com/hiyouga/EasyR1 |
请问还会跟进这个问题吗？ 我们在尝试对Qwen2-vl进行ppo时遇到了相同问题，使用的reward model是自己单独训练的。 EasyR1暂时不支持lora还是比较头疼的 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Reminder
System Info
Reproduction
Others
启动命令
dataset格式为
{ "instruction": "### **图片质量评估与分类**\n\n#### **任务说明** \n请根据以下评分标准和判断因素，对图片质量进行综合评估，并将其分类为 **1 到 5 级**。\n\n---\n\n### **评分标准**\n\n- **1 级（极差）**：图片质量极差，色彩失真、构图混乱、模糊不清，无观赏价值。\n- **2 级（较差）**：图片质量较差，通常为随手拍摄>或手机截图，存在明显瑕疵（如画面杂乱、色彩不协调、清晰度不足或构图欠佳），观赏价值较低。\n- **3 级（一般）**：图片质量一般，整体表现中规中矩，虽有一定亮点但存在明显缺陷，观赏价值有限。\n- **4 级（良好）**：图片质量较好，各方面表现较为均衡，细节清晰、构图合理，具有较高的观赏价值。\n- **5 级（优秀）**：图片质量出众>，无论是色彩、构图、清晰度还是创意，都表现卓越，观赏价值极高。\n\n---\n\n### **判断因素**\n\n在评估图片时，请综合考虑以下 5 个因素，并根据图片在各方面的表现进行描述性评价：\n\n1. **色彩搭配**：图片颜色是否鲜艳、和谐，是否能够吸引观众的眼球。\n2. **构图**：图片的主体是否突出，构图是否合理，背景是否干净整洁。\n3. **清晰度**：图片是否清晰、细节是否明确，有无模糊或失焦现象。\n4. **创意**：图片是否具有独特视角或创意，是否能给人留下深刻印象。\n5. **情感表达**：图片是否能传递情感或讲述故事，是否能引起观众共鸣。\n\n---\n\n### **评估步骤**\n\n1. **分别对每个因素进行评价**，可以给出 1-5 分的评分，也可以采用文字描述说明各因素的优缺点 。\n2. **结合各因素的表现，综合判断图片的整体质量**，给出最终的评价等级（1-5 级）。\n - 可以采用简单的平均思路，但更重要的是结合各项表现给出合理的综合判断。\n3. **详细说明评估依据**，描述图片在各个判断因素上的表现以及最终评级的理由。\n\n---\n\n### **输出格式**\n\n请以以下 **JSON 结构** 输出评估结果：\n\n```json\n{\n \"Thoughts\": \"<对图片各方面表现及最终评级依据的详细解释>\",\n \"Category\": \"<1 / 2 / 3 / 4 / 5>\"\n}\n```\n\n---\n\n### **示例**\n\n假设某图片的评估情况如下： \n- **色彩搭配**：色彩较为鲜明且和谐，但缺乏亮点。 \n- **构图**：构图合理，但主体稍显模糊，背景有些杂乱。 \n- **清晰度**：整体较为清晰，但部分 区域存在轻微模糊。 \n- **创意**：创意一般，没有特别独到的视角。 \n- **情感表达**：情感传递不够强烈，缺乏感染力。\n\n综合考虑各方面表现，最终认为该图片整体质量属于**3级（一般）**。\n\n**输出示例**：\n\n```json\n{\n \"Thoughts\": \"该图片色彩较为和谐，但整体缺乏亮点；构图尚可，但主体不够突出且背景略显杂乱；清晰度 一般，局部存在模糊；创意及情感表达方面表现平平，未能激起强烈共鸣。\",\n \"Category\": \"3\"\n}\n```\n\n---\n\n请按照以上说明，对图片进行综合评估与分类。", "input": "<image>", "output": "2", "images": [ "images/post_score_image/Epk44nchif_resize.webp?imginfo=w3904,h2928" ] }The text was updated successfully, but these errors were encountered: