多模态模型如何真正理解图片：视觉编码、跨模态对齐与评测方法

图像输入不是天然的事实

多模态模型先把图片划分为视觉块，再编码成可与语言共同处理的表示。缩放、裁剪和压缩都会改变可见信息，小字号、密集表格与边缘区域尤其容易丢失。应用侧应保存原图尺寸，根据任务采用分块或高分辨率路径，并将图像方向、页面编号和裁剪位置作为上下文提供给模型。

不同视觉任务需要不同管线

普通场景描述依赖全局语义，票据和合同依赖 OCR 与版面结构，图表问答还需要识别坐标轴、图例和数值关系。把所有图片都直接交给通用模型会得到不稳定结果。工程上可先进行文档类型识别，再组合 OCR、目标检测、表格解析和视觉语言模型，让专用组件提供结构化证据。

跨模态对齐的边界

模型可能根据常见模式补全看不清的文字，也可能把相邻区域错误关联。提示词应要求区分“图片中明确可见”与“根据上下文推断”，并在低清晰度时拒绝给出确定数值。涉及合同、医疗或设备读数时，输出必须绑定页面和坐标区域，便于人工复核。

评测要覆盖真实图像退化

测试集应包含手机拍摄、倾斜、反光、低分辨率、遮挡和多页文档，不应只用干净样本。指标除了答案准确率，还要计算字段漏检率、数值错误率、引用区域正确率和拒答表现。对图表问题，应分别评估文字识别、数据提取和计算推理，才能定位提升点。

生产系统设计

上传链路需要病毒检测、格式校验和隐私脱敏，大文件采用异步处理。保留每一步中间结果，可以判断错误来自图片预处理、OCR 还是模型推理。多模态能力的价值不在于“能看图”，而在于把视觉证据可靠地转成可追溯、可验证的业务信息。