多模态理解

Ling-3.0-flash-VL 是支持多模态输入的视觉语言模型，能够同时理解文本、图片和视频内容。本文档介绍其能力、调用方式与限制。

OpenAI API 兼容的 Chat Completions 支持在选择 Ling-3.0-flash-VL 时输入文本、图片和视频。图片使用 image_url 内容块，视频使用 video_url 内容块。
Anthropic API 兼容的 Messages 支持在选择 Ling-3.0-flash-VL 中输入文本、图片。

图片理解

图片理解模型可以根据您传入的图片进行回答，支持图片 Base64 编码传入方式。

图片格式：JPEG，PNG。
图像大小：单图像素不超过 16384*784
- Base64 编码传入：单张图片 Base64 编码字符串大小不超过 32 MB。
图片数量：传入多张图片时，单条请求的限制 40 张图片。
请求体最大： 32 MB。

Base64 编码传入

将图片文件转换为 Base64 编码字符串后传入，转换后的 Base64 编码的字符串大小不能超过 32 MB。

OpenAI Chat Completions API

请在 Base64 编码前携带前缀：data:{MIME_TYPE};base64,$BASE64_IMAGE

{MIME_TYPE}：图像的 MIME 类型（媒体类型），用于标识图像格式，需替换为实际图像对应的 MIME 值。例如 image/jpeg，image/png。
$BASE64_IMAGE：图像文件的纯 Base64 编码字符串（不含任何前缀）。


curl --location --request POST 'https://api.ant-ling.com/v1/chat/completions' \
--header 'Authorization: Bearer sk-studio-xx' \
--header 'content-Type: application/json' \
--data-raw '{
  "model": "Ling-3.0-flash-VL",
  "stream": true,
  "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "data:{MIME_TYPE};base64,$BASE64_IMAGE"
                    }
                },
                {
                    "type": "text",
                    "text": "please describe the content of the image"
                }
            ]
        }
    ],
    "max_completion_tokens": 102400
}'

Anthropic Messages API

{MIME_TYPE}：图像的 MIME 类型（媒体类型），用于标识图像格式，需替换为实际图像对应的 MIME 值。例如 image/jpeg，image/png。
$BASE64_IMAGE：图像文件的纯 Base64 编码字符串（不含任何前缀）。


curl --location --request POST 'https://api.ant-ling.com/anthropic/v1/messages' \
--header 'Authorization: Bearer sk-studio-xx' \
--header 'content-type: application/json' \
--data-raw '{
  "model": "Ling-3.0-flash-VL",
  "stream": true,
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "image",
          "source": {
            "type": "base64",
            "media_type": "{MIME_TYPE}",
            "data": "$BASE64_IMAGE"
          }
        },
        {
          "type": "text",
          "text": "描述图片中的内容"
        }
      ]
    }
  ]
}'

不支持属性

OpenAI Chat Completions API

messages.content.image_url.detail：控制图片解析分辨率，推理引擎内置默认值为 default。

视频理解

视频理解模型可以根据您传入的视频进行回答，支持视频 Base64 编码传入方式。

视频格式：MP4，MOV，WMV。
视频大小：视频时长不超过 30s。
- Base64 方式传入：单个视频文件 Base64 编码后的字符串大小不能超过 32 MB。
视频数量：限制 1 个视频。
视频理解的精细度：采样帧率固定 2fps，帧数上限 32 帧。

OpenAI Chat Completions API


curl --location --request POST 'https://api.ant-ling.com/v1/chat/completions' \
--header 'Authorization: Bearer sk-studio-xx' \
--header 'content-Type: application/json' \
--data-raw '{
  "model": "Ling-3.0-flash-VL-rc1",
  "stream": true,
  "messages": [
        {
            "role": "user",
            "content": [
                {
                    "type": "video_url",
                    "video_url": {
                        "url": "data:{MIME_TYPE};base64,$BASE64_VIDEO"
                    }
                },
                {
                    "type": "text",
                    "text": "please describe the content of the image"
                }
            ]
        }
    ],
    "max_completion_tokens": 102400
}'

这个页面对你有帮助吗?