xAI 宣布推出 Grok-1.5V —— 第一代多模式模型,用于连接数字世界和物理世界。
除了强大的文本功能之外,Grok 现在可以处理各种视觉信息,包括文档、图表、屏幕截图和照片,预计该版本很快就会向早期测试者和现有 Grok 用户推出。
公告指出,Grok-1.5V 在多个领域(从多学科推理到理解文档、科学图表、图表、屏幕截图和照片)与现有的前沿多模态模型相比都具有很强的竞争力。在 RealWorldQA 基准测试中的表现也要优于同类产品。
RealWorldQA 是由 xAI 新推出的一个基准测试,旨在评估多模态模型的基本真实世界空间理解能力。
RealWorldQA 的初始版本包含 700 多张图像,每张图像都有一个问题和易于验证的答案。除了其他真实世界的图像之外,该数据集还包含从车辆拍摄的匿名图像。后续还将随着多模式模型的改进而进行扩展,RealWorldQA 在CC BY-ND 4.0下发布。现已可供下载 (677MB)。
示例:看图写代码
用户:你能把它翻译成 Python 代码吗?
Grok:当然可以!您提供的流程图描述了一个简单的猜谜游戏:计算机生成一个随机数,用户必须猜出它。下面是表示流程图中逻辑的 Python 代码:
在接下来的几个月中,Grok 预计将在图像、音频和视频等各种模式中对这两种功能进行重大改进。与此同时,该公司还在进行招聘。
未经允许不得转载:岩猫星空网 » Grok-1.5 Vision 预览