企业官网建设流程全解析

近年来大模型领域的竞争早已从“文本对话”蔓延到了“多模态战场”。无论是文档解析、截图理解，还是自动化办公、具身智能，都离不开模型对图像内容的理解能力。而 DeepSeek 在很长一段时间里，主打的是高性价比的文本推理模型，虽然 API 调用价格极具竞争力，但视觉理解能力一直处于“只闻楼梯响，不见人下来”的状态。

这次DeepSeek 视觉多模态能力正式上线，算是补齐了拼图中最关键的一块。更让人关注的是，它依然延续了“价格屠夫”的定价策略，同时配合开源模型和 Agent 生态，给开发者留下了非常大的想象空间。

本文将从模型能力、API 调用、Agent 视觉集成、本地部署、常见问题等几个维度，做一次完整的拆解。不管你是刚接触大模型 API 的新手，还是正在做 Agent 应用落地的开发者，都能在这篇文章里找到可直接复用的代码和踩坑经验。

1. DeepSeek 视觉多模态到底是什么

1.1 先聊清楚“多模态”这个概念

多模态（Multimodal）指的是模型能够同时处理多种类型的数据输入，最常见的就是文本 + 图片。过去我们使用的 ChatGPT、DeepSeek 对话模型，本质上只能读取文字。你想让模型“看看这张图里有什么”，它是做不到的。

而视觉多模态模型（Vision-Language Model, VLM）在文本理解的基础上，增加了图像编码器（Vision Encoder）和跨模态对齐层。简单理解就是：

• 图像先被切块并转化成视觉 Token；
• 视觉 Token 与文本 Token 对齐拼接；
• 模型基于完整的上下文生成回答。

所以当你问“这张发票的总金额是多少”时，模型不只是“看到”一张图片，而是能对图片内容进行推理、提取、计算。

1.2 DeepSeek 视觉多模态解决了什么问题

在 DeepSeek 视觉能力上线之前，开发者如果想在项目里做 OCR、图表理解、截图问答，通常有几种选择：

1. 使用传统的 OCR 工具（如 Tesseract、PaddleOCR），只能识别文字，不能理解语义；
2. 调用其他厂商的闭源视觉模型，成本偏高，尤其在图片量大时费用压力明显；
3. 自己微调视觉模型，需要准备数据集和 GPU 资源，周期长、门槛高。

DeepSeek 视觉多模态的推出，把“理解图片”这件事的成本拉低了一个量级。配合它原有的文本推理能力，你可以在一个 API 体系下完成图文混合理解、结构化数据抽取、Agent 视觉感知等整套任务。

1.3 开源与价格：两个关键标签

标题里提到了“开源”和“价格屠夫”，这两点需要分开看。

开源方面：DeepSeek 一直坚持开放模型权重，视觉多模态能力同样提供了开源版本。这意味着你可以把模型部署到自己的服务器或私有化环境中，数据不出内网，满足金融、医疗、政务等行业的合规要求。

价格方面：DeepSeek 的 API 定价在行业内一直以“便宜大碗”著称。视觉多模态的定价策略也延续了这一路线。对于有大量图片处理需求的业务场景，成本优势非常明显。不过具体的价格会因为模型版本、输入分辨率、输出长度而有所浮动，建议以官方文档为准。

1.4 适用场景速览

视觉多模态模型能做的事情，远比“看图说话”多。列几个典型场景：

• 文档解析：合同、发票、报表、手写笔记的 OCR + 结构化提取；
• 截图理解：对 UI 设计图、页面截图进行描述，辅助前端开发和测试；
• 自动化办公：读取邮件附件图片，自动提取关键信息并归档；
• 工业质检：检查产品图片中的缺陷，输出判断结果和位置；
• Agent 视觉感知：让 Agent 能“看”屏幕截图，从而操作 GUI 软件、完成自动化任务。

这些场景下，文本模型无法独立完成，必须依赖视觉理解能力。而 DeepSeek 视觉多模态的出现，正好提供了一个低成本、可私有化部署的新选项。

2. 视觉多模态模型能力拆解

2.1 核心能力清单

从目前已公开的信息和社区反馈来看，DeepSeek 视觉多模态主要在以下几项能力上表现突出：

细粒度 OCR 识别

不只是粗线条地识别文字，而是能区分表格结构、保持阅读顺序，对印刷体、手写体、倾斜文字都有较好的鲁棒性。这对于合同比对、票据录入这类业务非常重要。

图表与文档理解

面对折线图、柱状图、流程图，模型能够读懂坐标轴、趋势、异常点，并用自然语言描述结论。它还可以理解 PDF 页面截图中复杂的多栏布局。

视觉推理

模型能基于图片内容进行多步推理。例如给定一张冰箱内部照片，模型可以判断哪些食材快过期，并给出食谱建议。这种能力让它不只是“识图工具”，而更像是“会思考的助手”。

指令跟随与结构化输出

你可以要求模型输出 JSON、Markdown 表格、XML 等格式，视觉信息会被整合进结构化的回复中。这对后端程序解析模型输出非常有价值。

2.2 综合能力对比：DeepSeek VS 其他主流方案

这里无意做硬性排名，因为不同模型在不同任务上表现各异。只从开发者选型的角度做一个横向比较：

这些维度中，隐私部署和成本往往是国内企业最关心的两个点。DeepSeek 视觉多模态在这两方面都给出了比较直接的答案。

2.3 为什么说“价格屠夫”对开发者的意义很大

开发一个视觉应用，成本不只是“调一次 API 多少钱”，还要算上开发调试期间的反复调用、误识别后的重试、批量任务的海量请求。如果单张图片的价格降不下来，实际项目的试错成本会很高。

DeepSeek 价格低带来的直接好处是：

• 开发者可以放心地在测试集上反复调用，不用太担心账单；
• 批量处理场景（比如每天处理几万张图片）变得可承担；
• 以前因为成本原因不敢尝试的玩法（比如视频抽帧理解）现在可以做原型验证。

当然，低价并不等于无脑选它生产，效果是否满足业务需求，还是要拿真实数据做评测。

3. 环境准备：从零开始接入视觉多模态 API

3.1 你需要准备的账号和工具

在写代码之前，先把环境准备好。整个接入过程涉及的东西并不多：

• DeepSeek 开放平台账号，用于获取 API Key；
• Python 3.8 及以上环境，建议使用虚拟环境隔离依赖；
• openaiPython SDK 或requests库，用于发起 HTTP 调用；
• 一张测试图片，建议先用 JPG/PNG 格式的小图。

不同版本的 SDK 对多模态参数的支持略有差异，本文以较通用的 OpenAI 兼容协议为例。如果你的项目已经在调用 DeepSeek 的文本模型，那么升级到视觉模型的改动非常小，基本上只需要调整messages中的消息结构。

3.2 安装依赖和设置环境变量

创建一个独立的项目目录，并初始化虚拟环境：

mkdir deepseek-vision-demo cd deepseek-vision-demo python3 -m venv venv source venv/bin/activate # Windows 下为 venv\Scripts\activate

安装 OpenAI SDK：

pip install openai

官方文档中推荐优先使用 OpenAI SDK 来访问兼容接口，因为它支持chat.completions接口中的多模态消息格式。你也可以使用requests直接发送 HTTP 请求，不过那样需要手动处理身份认证和 JSON 序列化，开发效率略低。

接下来设置环境变量。为了避免把密钥写到代码里，建议创建.env文件，或者直接在命令行中导出：

export DEEPSEEK_API_KEY="sk-xxxxxxxxxxxxxxxx"

代码中通过os.getenv("DEEPSEEK_API_KEY")读取。这样既保证了密钥安全，也便于在不同环境间切换配置。

3.3 图片数据的两种传递方式

调用视觉模型时，图片数据一般有两种传递方式：

方式一：图片 URL

直接把图片的公网地址传给模型，适合图片已经存储在 OSS、CDN 上的场景。

方式二：Base64 编码

把图片文件读取为二进制，再编码成 Base64 字符串，适合本地图片、隐私图片、无公网访问地址的图片。

两种方式在 API 参数上的差异不大。Base64 方式在本地开发调试时最常用，下面我们先以 Base64 方式为例。

4. 编写第一个视觉多模态调用程序

4.1 项目结构

在项目目录中创建如下文件：

deepseek-vision-demo/ ├── venv/ # 虚拟环境 ├── .env # 环境变量配置（勿提交到 Git） ├── test_image.png # 测试图片 └── vision_demo.py # 主程序

4.2 完整代码示例

下面这段 Python 代码演示了如何读取一张本地图片，并让 DeepSeek 视觉多模态模型描述图片内容。

# 文件路径：deepseek-vision-demo/vision_demo.py import os import base64 from openai import OpenAI # 初始化客户端 client = OpenAI( api_key=os.getenv("DEEPSEEK_API_KEY"), base_url="https://api.deepseek.com" ) def encode_image(image_path): """ 将本地图片文件编码为 Base64 字符串。 """ with open(image_path, "rb") as image_file: return base64.b64encode(image_file.read()).decode("utf-8") def main(): # 读取图片并编码 image_path = "test_image.png" base64_image = encode_image(image_path) # 构造多模态消息 response = client.chat.completions.create( model="deepseek-vl", # 实际模型名称以官方文档为准 messages=[ { "role": "user", "content": [ { "type": "image_url", "image_url": { "url": f"data:image/png;base64,{base64_image}" } }, { "type": "text", "text": "请详细描述这张图片的内容，包括所有可见的文字和关键物体。" } ] } ], max_tokens=1024, temperature=0.3 ) print(response.choices[0].message.content) if __name__ == "__main__": main()

代码中需要注意的几个点：

• base_url必须指向 DeepSeek 的 API 地址；
• model参数要填写实际可用的视觉模型名称；
• content是一个列表，其中image_url类型的数据块携带图片信息；
• max_tokens控制回复的最大长度，如果图片信息复杂，建议设置得大一些；
• temperature设置较低的值，可以让输出更稳定，适合信息提取类任务。

4.3 运行与预期输出

在命令行中运行：

python vision_demo.py

如果一切配置正确，你会在终端看到模型返回的图片描述，形如：

图片中是一个会议室场景。桌面上摆放着一台笔记本电脑、一个笔记本和一杯咖啡。 笔记本屏幕上显示着 DeepSeek 的聊天界面。图片右下角有一张白板，上面写着 "API 接入演示"几个字。整体光线明亮，拍摄角度为俯视。

不同图片的返回内容自然不同，重点在于验证整个链路是否打通。

5. 进阶实战：用视觉多模态做结构化信息抽取

5.1 业务需求描述

图片理解最常用的场景之一就是“结构化信息抽取”。比如我们有一张含表格的图片，需要将表格内容转换成 JSON 数据供下游系统使用。

这种任务对模型的指令跟随能力要求较高。如果提示词写得模糊，模型可能返回一段描述性文字而不是结构化数据。我们需要在提示词中明确指定输出格式、字段含义和边界条件。

5.2 实现思路

修改上一节中的提示词部分，增加格式要求：

text_prompt = """ 请从图片中的表格提取信息，并以 JSON 格式返回。 JSON 中每个字段的含义如下： - name: 姓名 - department: 部门 - salary: 月薪 - join_date: 入职日期 要求： 1. 只返回 JSON，不要包含任何解释性文字。 2. 如果某个字段在图片中不存在，使用 null 填充。 3. 如果图片中不包含表格，返回 {"error": "no_table"}。 """

在response = client.chat.completions.create(...)调用中，将这个text_prompt替换原来的text即可。

5.3 解析模型返回结果

模型返回的内容是一个字符串，我们需要用json模块解析后使用：

import json result_text = response.choices[0].message.content try: result_json = json.loads(result_text) print("解析成功：", result_json) except json.JSONDecodeError: print("模型返回的不是合法 JSON，原始内容为：") print(result_text)

这里做了异常处理，因为大模型偶尔会输出带前后缀的 JSON 片段（比如包裹在 Markdown 代码块中）。成熟的项目中，建议写一个“提取 JSON 子串”的工具函数，自动剥离无关内容。

5.4 效果优化经验

在实际项目中，结构化抽取的稳定性直接决定应用能否上线。以下几点是我实测中比较有效的优化手段：

提示词中给出示例

如果模型对输出格式理解不到位，可以在提示词里补一个 few-shot 示例。示例不需要多，一两个即可。

限制 temperature 为 0

对于严格的结构化输出任务，把temperature设为 0，能显著降低输出随机性。

增加重试机制

由于网络波动或模型偶发错误，建议对 API 调用做异常捕获和重试。可以使用tenacity库，也可以自己写一个简单的重试循环。

设置输出长度的上限

表格内容多的时候，模型可能会因为max_tokens不够而截断输出，导致 JSON 不完整。建议设置为 2048 或更高。

6. 基于视觉多模态开发 Agent 视觉能力

6.1 Agent 为什么需要视觉

Agent（智能体）是当前 AI 应用开发最火热的方向之一。过去的 Agent 大多只能操作文本，比如调用搜索引擎、写邮件、生成代码。但现实世界中的信息大量以图像形式存在。

举个典型的例子：一个“电脑操作助手”Agent，需要执行的任务可能是“帮我在网页上找到上个月的销售报表，并分析趋势”。这个过程里，Agent 必须先截取屏幕，理解屏幕上有什么，然后决定下一步点哪里、输入什么。没有视觉能力，这个闭环根本走不通。

DeepSeek 视觉多模态的价值就在于：它可以被集成到 Agent 的“感知模块”中，让 Agent 具备“看懂截图”的能力。

6.2 Agent 视觉处理的基础架构

一个具备视觉能力的 Agent，通常由以下模块组成：

• 任务解析模块：将用户的自然语言指令拆解为子任务；
• 视觉感知模块：调用视觉模型理解截图或图片；
• 决策模块：根据视觉理解结果决定下一步动作；
• 执行模块：执行点击、输入、请求 API 等动作。

在我自己的项目里，视觉感知模块通常被封装成一个工具函数understand_screen(image_path, instruction)。Agent 的主循环在需要看图时，调用这个工具函数获取“环境状态”，然后基于状态决策。

6.3 手写一个极简视觉 Agent 示例

下面展示一个极简的实现。我们模拟一个场景：Agent 收到一张图表图片，需要判断“哪个月份销售额最高”，并输出结论。

# 文件路径：deepseek-vision-demo/vision_agent_demo.py import os import base64 from openai import OpenAI client = OpenAI( api_key=os.getenv("DEEPSEEK_API_KEY"), base_url="https://api.deepseek.com" ) def encode_image(image_path): with open(image_path, "rb") as f: return base64.b64encode(f.read()).decode("utf-8") def vision_understand(image_path, instruction): """ 视觉感知工具：让模型理解图片内容并返回结论。 """ base64_image = encode_image(image_path) response = client.chat.completions.create( model="deepseek-vl", messages=[ { "role": "user", "content": [ { "type": "image_url", "image_url": { "url": f"data:image/png;base64,{base64_image}" } }, { "type": "text", "text": instruction } ] } ], max_tokens=512, temperature=0.0 ) return response.choices[0].message.content def agent_run(image_path, task): """ 极简 Agent 主循环：只包含感知和决策两步。 """ print(f"[Agent] 当前任务：{task}") # 第一步：感知图片内容 perception_prompt = "请用简洁的语言描述这张图表中的关键信息，包括每个数据点的具体数值。" observation = vision_understand(image_path, perception_prompt) print(f"[Agent] 视觉观察：{observation}") # 第二步：基于观察结果做出决策结论 decision_prompt = f""" 基于以下对图表的观察结果，回答任务问题。 观察结果：{observation} 任务：{task} 请给出明确答案，并简要说明判断依据。 """ response = client.chat.completions.create( model="deepseek-chat", # 这里的文本模型按实际可用的模型调整 messages=[ {"role": "user", "content": decision_prompt} ], max_tokens=256, temperature=0.0 ) return response.choices[0].message.content if __name__ == "__main__": # 示例：分析一张销售图表 answer = agent_run("sales_chart.png", "哪个月份销售额最高？") print(f"[Agent] 最终回答：{answer}")

这个示例看起来简单，但它体现了一个关键的 Agent 思路：先感知（视觉模型），再推理（文本模型），最后输出结论。真实项目中，vision_understand返回的观察结果还可以被当作上下文存储，供后续多轮对话使用。

6.4 从极简示例到生产级 Agent

上述示例只适合理解原理，距离生产环境还有距离。如果要落地，还需要考虑：

• 多轮对话上下文管理：视觉观察结果要加入历史消息队列，提升后续决策准确性；
• 工具调用循环：Agent 不能只“看一次”，需要循环执行“感知 → 决策 → 动作 → 再感知”直到任务完成；
• 错误恢复机制：如果视觉模型返回的内容不明确，Agent 应该能重新截屏或请求帮助，而不是直接崩溃；
• 成本控制：截图和图像理解的 API 调用次数需要设上限，防止 Agent 陷入死循环导致费用飙升。

Agent 是一个非常宽泛的课题，视觉只是其中一个模块。但可以确定的是，视觉多模态把 Agent 能处理的场景边界往外扩了一大圈。对开发者来说，现在是用较低成本做 Agent + 视觉玩法的好时机。

7. 本地部署与开源生态整合

7.1 什么时候需要考虑本地部署

调用云端 API 是最省事的方案，但有一种情况你必须考虑本地部署：数据敏感。

比如企业内部合同、病历、财务数据，这些内容不允许发送到外部 API。就算服务商承诺数据不留存，很多企业依然过不了合规这一关。这时候，开源模型的价值就体现出来了。

DeepSeek 视觉多模态模型的权重已经开源，意味着你可以把它部署在内部服务器上，通过私有化接口对外提供服务。虽然部署需要 GPU 资源，但相比数据泄露的风险，很多企业愿意承担这部分硬件成本。

7.2 本地部署需要什么样的硬件

视觉多模态模型对显存的要求通常比同参数规模的纯文本模型更高，因为图像编码器会额外占用显存。具体需要什么配置，取决于模型的参数量、推理框架、并发量等因素。

基本的思路是：

• 先用官方推荐的量化版本跑通流程；
• 再用真实图片压测，观察显存占用和响应延迟；
• 最后根据并发需求决定是否升级显卡或增加多卡推理。

部署方式上，可以借助开源的推理框架（如 vLLM、SGLang）加载模型，并提供兼容 OpenAI 协议的接口。这样你在本地部署后，上层的代码改动非常小，只需要把base_url指向本地服务即可。

7.3 开源生态中值得关注的整合方向

DeepSeek 视觉模型的开源，影响的不仅是直接调用 API 的开发者，也会带动一批开源项目做整合。比较值得关注的方向有：

• 开源知识库：有些知识库产品已经在探索“图片问答”能力，也就是用户上传图片后，系统能检索相关图文信息并生成答复。DeepSeek 视觉模型可以作为后端底座；
• 开源 Agent 框架：各种 Agent 框架都在往“多模态”方向扩展，视觉模型的接入会让框架的 GUI 自动化能力上一个台阶；
• 开源文档工具：扫描件转 Markdown、图片转结构化数据，这些文档处理工具是视觉模型最直接的应用场景。

对于做开源项目的开发者，这里有一个机会：把 DeepSeek 视觉模型和现有的开源工具链集成好，形成“开箱即用”的解决方案，对社区的价值会很大。

8. 常见问题与解决方案

8.1 高频报错排查清单

接入视觉多模态 API 过程中，最容易遇到的问题集中在认证、参数格式、图片编码三个方面。整理成表格：

8.2 图片大小与清晰度的平衡

视觉模型对图片有分辨率上限。如果你直接上传一张 4000×3000 的原始照片，大概率会被压缩或拒绝。但是把分辨率压得太低，图片里的小字又识别不清。

我的经验是：

• 对于文档截图，把宽度控制在 1024 到 2048 像素之间；
• 对于拍照图片，先做裁剪，去掉无关背景，再把主体区域放大；
• 对于包含小字的图片，优先保证文字区域的分辨率，而不是整张图的尺寸。

8.3 多张图片如何处理

有些场景需要同时传入多张图片对比，比如“这两张设计稿有什么差异”。不同模型的 API 对多图支持程度不同。稳妥的做法是：

1. 先将多张图片合并成一张拼图；
2. 或者逐张分析，再把分析结果拼接后交给文本模型做对比推理。

第二种方案可控性更好，因为你可以控制每张图的分析粒度。

9. 最佳实践与工程建议

9.1 提示词设计规范

视觉模型的提示词设计与文本模型有些不同。文本模型可以靠“多轮对话”逐步纠偏，但视觉任务通常是单轮完成，所以提示词必须一次性说清楚。

建议遵循三个原则：

明确任务边界。不要只写“描述图片”，要写清楚“提取图片中所有表格数据，输出为 Markdown 格式”。

规定输出格式。无论是 JSON、表格还是纯文本，都要在提示词中定义。特别要注意：如果下游需要解析，必须要求“不要附带解释性文字”。

提供错误兜底。在提示词中告诉模型“如果图片中不存在该信息，输出 null 或 error”，这样就不会出现模型凭空编造内容的情况。

9.2 成本控制与性能优化

视觉模型的价格虽然低，但图片输入产生的 Token 数远高于文本。一张普通图片可能抵得上几千个文本 Token。所以成本控制的核心不是单价，而是减少无效图片输入。

具体手段：

• 上传前裁剪无用区域；
• 压缩图片百分比质量；
• 缓存重复图片的分析结果；
• 同一个任务中不要对相同图片重复调用。

9.3 安全与合规边界

图片数据往往比文本更敏感。人脸、车牌、合同章、身份证号都可能出现在一张普通照片里。使用视觉模型时，我会在工程层面做这几件事：

• 脱敏预处理：在调用 API 前，用 OpenCV 或第三方库对图片进行人脸打码、关键信息遮盖；
• 访问控制：后台系统对图片上传接口做鉴权和限流，防止恶意批量调用；
• 日志脱敏：不要将图片内容完整打印到日志中；
• 本地部署评估：如果图片涉及个人隐私或商业机密，认真评估本地部署的可行性。

9.4 从原型到生产的改造清单

把“能跑的 Demo”变成“能上线的服务”，中间还有一段路。下面是我常用的改造清单：

• 将 API Key 放入配置中心或环境变量，禁止硬编码；
• 增加统一的异常处理中间件，对所有上游调用做超时和重试；
• 对模型输入输出做日志记录，方便后续排查和效果评估；
• 建立评测图片集，每次模型升级后重新跑一遍回归测试；
• 设计多模型兜底策略，主模型不可用时切换到备用方案。

10. 总结与下一步学习路线

DeepSeek 视觉多模态的上线，对开发者来说是一次值得跟进的技术更新。它带来的不只是“又多了一个 API 可调用”，而是把高性价比的视觉理解能力放到了每个开发者都可以触及的位置。

从本文的实战内容来看，你可以掌握：

• 视觉多模态模型的基本工作原理和核心应用场景；
• 如何通过 OpenAI 兼容协议快速接入 DeepSeek 视觉 API；
• 如何编写结构化信息抽取程序，让图片直接变成可解析的 JSON；
• 如何将视觉能力集成到 Agent 系统中，让智能体“看懂屏幕”；
• 哪些场景适合云端 API，哪些场景需要本地部署；
• 在生产环境中控制成本、保障安全的工程手段。

接下来如果想往深了走，建议从这几个方向选一个继续突破：

方向一：Agent 框架深入学习。把视觉能力集成到开源的 Agent 框架中，实现 GUI 自动操作或文档自动化处理，是目前落地价值较高的方向。你可以找一个活跃的 Agent 框架，研究它的工具调用机制和上下文管理方式。

方向二：模型微调与适配。如果通用视觉模型在某个垂直领域效果不佳，可以尝试用开源模型做领域微调。这需要准备一批标注数据，并拥有基本的模型训练经验。

方向三：多模态应用产品化。把视觉能力封装成一个小工具或 SaaS 服务，比如“发票识别助手”“截图转代码工具”“图片问答机器人”。产品化的过程中，你会更深刻地理解提示词工程、成本控制、用户体验之间的关系。

动手永远是学习技术最好的方式。建议你今天就找一张自己工作或生活中常见的图片，写一个最简单的 API 调用脚本，看看模型能理解到什么程度。多试几次不同场景，你会发现视觉模型的能力边界远比想象中宽。