中国团队成功开源高质量图文数据集Share***4V,助力大规模应用开发

作者:小编 更新时间2023-11-30 08:17:54 点击数:

中国团队最近开源了一个引人瞩目的图文数据集,命名为ShareGPT4V,它基于GPT4-Vision构建,训练了一个7B模型。这一举措在多模态领域取得了显著的进展,超越了同级别的模型。

该数据集包含了120万条图像-文本描述数据,涵盖了世界知识、对象属性、空间关系、艺术评价等多个方面,在多样性和信息涵盖度上明显优于现有数据集。

image.png

论文地址:https://arxiv.org/abs/2311.12793

Demo演示:https://huggingface.co/spaces/Lin-Chen/ShareGPT4V-7B

项目地址:https://github.com/InternLM/InternLM-XComposer/tree/main/projects/ShareGPT4V

多模态模型的性能在很大程度上受制于模态对齐的效果,而现有工作中缺乏大规模高质量的图像-文本数据。为了解决这一问题,中科大和上海AI Lab的研究者们推出了ShareGPT4V,这是一个开创性的大型图文数据集。

通过对GPT4-Vision模型产生的10万条图像-文本描述数据进行深入研究,他们成功构建了这一高质量的数据集,涉及的内容丰富多样,包括世界知识、艺术评价等。

这一数据集的推出为多模态研究和应用奠定了新的基石。在实验中,研究者们展示了ShareGPT4V数据集在多种架构和参数规模的多模态模型中的有效性。通过等量替换实验,他们成功提升了多种模型的性能。

最终,通过在预训练和有监督微调阶段同时使用ShareGPT4V数据集,他们得到了ShareGPT4V-7B模型,在多模态基准测试中取得了优异的成绩。

这一研究为未来的多模态研究和应用提供了有力支持,也促使多模态开源社区关注高质量图像描述的开发,预示着更强大、智能的多模态模型的出现。这一成果对于推动人工智能领域的发展具有积极的意义。