AI技术在3C工业质检的核心矛盾是"工业场景对极高稳定性、可靠性和鲁棒性的要求"与"AI模型在数据稀缺、环境多变下表现的不确定性"之间的矛盾。3C场景中，缺陷样貌复杂多变并呈现严重的长尾分布，新项目初期缺陷数据稀缺，常规AI模型需要经过漫长的缺陷搜集、数据标注和模型优化过程。即使后期模型具有一定检测能力，依然难以应对先前未出现的缺陷，此外，若成像、机构等出现变动，模型可能失效。针对常规AI模型在使用过程中的痛点问题，我们结合跨项目数据集和多模态模型的泛化能力，提出一套基于大模型的解决方案。

目前，AI视觉技术已在工业质检领域广泛应用。针对工业产品的缺陷检测问题，由于工艺、外力导致的缺陷样本具有稀缺性和随机性，缺陷目标相对自然场景，语义信息较弱。工业缺陷数据的特点决定常规AI模型很难处理样貌变化导致的各类漏检问题。此外，单个项目甚至单个工位的数据量极其有限。然而借鉴人脑的识别机制，即使新的场景也可以识别到绝大部分异常位置，这说明缺陷信息本身是具有共性的，常规AI模型仅处理单个项目或单个工位，数据之间完全割裂，数据上限被严重制约，进一步决定模型泛化能力十分有限。跨项目数据治理的核心动机是进一步提升大模型检测能力上限，一套严密的数据管理机制可以保障模型能力随时间不断进化，形成数据、模型能力、设备性能的良性循环。

跨项目数据治理过程中，我们通过特定维度归纳缺陷的共性特征，即使针对不同成像、材质、工艺也可以进行严格归类。图1中(a),(b)分别展示了不同项目的划伤和缺口样本。从缺陷样貌上观察，每种类型缺陷类内虽然存在一定差异，但从几何形态上看，类间区分度也比较明显。因此，我们从缺陷的本身形态对所有项目样本进行了新的整理和归类。由于综合利用了跨项目数据，缺陷样本的数量远远高于一般针对单个项目甚至单个工位的模型，决定了模型能力可以随样本拓展不断进化。

从归类结果上看，发现单个缺陷的多样性远超想象。即使针对图1中常见缺口缺陷，在不同项目中由于光照条件、拍摄角度、材质、工艺等多种因素影响，呈现出各种随机变化的样貌，缺陷样本的多样性极大程度上提升了模型的泛化能力，同时经过严格归类的数据一定程度上缓解了缺陷的弱语义特性。

在跨项目大样本条件下，常规AI模型可能由于模型的复杂度面临欠拟合风险，基于Transformer架构的Dyson多模态大模型天然具有学习大样本的能力。我们借鉴人脑在识别事物时结合语言信息的特点，构建了工业场景的学习方案。此外，我们借鉴人脑天然能够区分不同类别物体，采用自监督方法训练图像编码器，然后通过图像编码和文本编码得到多模态信息，在模型内部通过进一步的对比学习方法得到图像信息和语言信息的关联特征。

相比常规的有监督训练方法，Dyson多模态大模型的训练方法进一步提升了模型的泛化能力，实测检测能力接近人类，不但在已训练场景泛化性更强，而且能够无需训练精准识别到新领域的新缺陷。

图2展示了Dyson大模型在跨域条件下的检测示例，所有该场景样本完全没有经过训练，模型能够精确定位和分割缺陷目标和背景区域，在子图(b)中,背景存在大量文字和黑色零件干扰，在子图(d)中，水泥路面存在大量噪点，裂缝相对正常路面对比度较低，且纹理十分细微。

多模态大模型结构复杂，然而实际机台PC算力有限。我们在模型原有架构基础上进行了模型压缩、算子和模型加速等各种极致效率优化，最终实现毫秒级延迟，实现大模型在单个PC上的本地部署。

征图深耕检测领域十几年，积累原始数据集非常庞大，为现有的大模型提供了大量的优质样本。数据覆盖各3C产品线外观所有工序，成像复杂性和缺陷复杂性对模型能力提出了更高的要求。图(3)展示了不同成像方案、不同材质的缺陷样本示例。

目前，Dyson大模型已在多个项目现场实现落地应用，包括触摸屏盖板玻璃、手机边框、摄像头模组、新能源电池等场景。相对原有方案，虽然基于大模型的方案在算力消耗上有一定提升，但真实缺陷漏检率大幅降低，同时针对新场景，由于模型本身具有一定的检测能力，项目指标收敛周期大幅缩短。例如，在我们的新能源电池场景中，由于光源和成像方案相对已有样本差异很大，但模型初期即可检测90%以上缺陷，后期通过各个工位总计200余张缺陷样本微调即可达到稳定检测状态，机台月度维持0漏检，综合良率接近人工检测。

我们认为大数据和多模态能力是工业场景恒星级的能量，而Dyson大模型可以利用这种能量赋能工业质检行业。作为业内首个实现本地部署的工业质检大模型，于2024年被国家工信部评为年度AI赋能工业应用的典型案例。我们希望以Dyson大模型为baseline，为AI质检提供更多新方案和思路，和征图一起，看·见更多不同！