多模态 on AI 观察

多模态 AI 入门：当模型同时看懂图、文、音之后

Sun, 11 Oct 2026 14:00:00 +0800

「上传一张图，直接问里面有什么」——这类体验已经不再新鲜。多模态（Multimodal）AI 的本质，是让模型在统一的表示空间里处理文本、图像、音频甚至视频，从而完成跨媒体的理解与生成。

为什么多模态重要？

现实世界很少是纯文本的。产品截图、工单照片、监控画面、会议录音，都是业务数据。若 AI 只能处理文字，大量信息只能靠人手工转录，成本和延迟都很高。

多模态 RAG：让企业知识库检索图片、图表与截图

Thu, 01 Oct 2026 13:33:48 +0800

企业文档中的信息并不只存在于文字里：产品手册中的结构示意图、操作指南中的界面截图、汇报材料中的数据图表、维修手册中的零件照片。传统 RAG 在解析文档时往往直接丢弃这些图片，导致相关问题无法回答。多模态 RAG 的目标，是让知识库也能“看见”并检索这些视觉信息。

语音 AI 入门：语音识别、语音合成与实时语音对话的技术要点

Wed, 23 Sep 2026 12:30:59 +0800

语音是人类最自然的交流方式。随着大模型的发展，语音 AI 已经从“听写工具”进化为能够实时对话的助手。一个完整的语音交互系统通常包含三个环节：把声音转成文字的语音识别（ASR），理解并生成回复的语言模型，以及把文字变回声音的语音合成（TTS）。近来，端到端的语音模型也开始直接处理“声音进、声音出”的对话。

AI 视频生成现状：能做什么、成本如何、版权与合规怎么看

Fri, 28 Aug 2026 12:31:57 +0800

文字生成图片已经普及，AI 生成视频则是近两年进展最快的方向之一。输入一段文字描述或一张图片，几分钟后就能得到一段画面精美、镜头流畅的短视频。但从“惊艳的演示片段”到“可用于商业交付的成片”，中间仍有不小的距离。 了解它能做什么、不能做什么，才能合理规划投入。

视觉语言模型（VLM）能看懂什么？能力边界与业务测试方法

Thu, 27 Aug 2026 09:37:39 +0800

把一张截图、一张照片或一张图表交给大模型，它就能描述内容、回答问题，这种能力来自视觉语言模型（Vision-Language Model，VLM）。它让很多过去需要专门训练视觉模型的任务，变成了“写一句提示词”就能尝试的事情。但 VLM 的能力分布很不均匀：有些任务表现接近人类，有些看似简单的任务却频繁出错。 在业务中使用之前，必须清楚它的边界。

文档智能：大模型时代的 OCR、票据识别与信息抽取

Wed, 19 Aug 2026 18:45:58 +0800

财务每天要录入大量发票，法务要从合同里提取关键条款，客服要核对用户上传的证件照片。这类“从文档中读出信息并结构化”的工作，统称为文档智能。传统 OCR 解决了“把图片变成文字”的问题，而大模型的加入，让“理解文档并抽取所需字段”变得更加灵活。 但在准确率要求极高的场景中，两者往往需要配合使用。

AI 绘图工作流：从提示词到可商用素材的完整流程

Thu, 16 Jul 2026 08:26:03 +0800

AI 绘图让每个人都能在几秒钟内得到一张精美的图片。但在实际工作中，设计师和运营人员很快会发现：偶尔生成一张惊艳的图不难，难的是稳定地产出符合品牌要求、风格统一、细节正确、可以放心商用的素材。 这需要一套工作流，而不仅仅是一句好的提示词。

第一步：明确需求

在打开工具之前，先回答几个问题：