ICS25.160.01 CCSJ33 团 体 标 准 T/CWAN0175—2026 GB/T13814—92 焊接大语言模型的评价方法 Evaluationmethodforweldinglargelanguagemodel 2026-01-07发布 2026-02-01实施 中国焊接协会发布 全国团体标准信息平台 T/CWAN0175—2026 I目录 前言................................................................................................................................................................II 1范围.....................................................................................................................................................................1 2规范性引用文件.................................................................................................................................................1 3术语和定义.........................................................................................................................................................1 4焊接大模型概述.................................................................................................................................................3 5数据合规要求.....................................................................................................................................................4 6技术要求.............................................................................................................................................................5 7评估与测试.........................................................................................................................................................8 8附录A（资料性）检验记录模版....................................................................................................................9 全国团体标准信息平台 T/CWAN0175—2026 II前言 本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规 定起草。 本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。 本文件由中国焊接协会提出并归口。 本文件起草单位：北京理工大学（珠海）、山东大学、北京博清科技有限公司、中焊科技发展（哈 尔滨）有限公司、天津市特种设备监督检验技术研究院、重庆三峡学院、南昌航空大学、上海中巽科 技股份有限公司、江苏北人智能制造科技股份有限公司、天津大学、唐山松下产业机器有限公司、哈 尔滨职业技术大学、北部湾大学、广西柳工机械股份有限公司、哈尔滨华德学院、中国兵器工业集团 航空弹药研究院有限公司、南昌职业大学、福建省特种设备检验研究院、黑龙江科技大学、无锡合泰 教育咨询有限责任公司、坤智大数据科技（哈尔滨）有限公司、威海职业学院、黑龙江工程学院。 本文件主要起草人：于兴华、孙震、冯消冰、武鹏博、马青军、尹立孟、陈玉华、王铭秋、林涛、 刘晨曦、刘金龙、刘建国、邓军林、侯国清、朱斌海、范东辉、张大林、孙明辉、黄小宇、王永东、 于修和、郝亮、李爱民、隋英杰、刘洋、于春洋、牛董山钰、方乃文。 全国团体标准信息平台 T/CWAN0175—2026 1焊接大语言模型评价方法 1范围 本文件规定了焊接大语言模型（weldinglargelanguagemodel，WeldLLM）的评价原则、评价维度 与指标体系、数据集构建方法、评测流程、评分与等级划分方法、检验记录要求，并提供了评价报告 格式。 本文件适用于以自然语言处理为核心的焊接大语言模型的评价，包括通用型大语言模型在焊接领域 的能力评估，以及面向焊接领域开发的专用大语言模型性能测试与验证。 本文件不适用于对非自然语言处理类的焊接人工智能系统（如基于规则的专家系统、单纯的图像识 别算法）的独立评价，但可为此类系统与LLM融合后的整体性能评估提供参考。 2规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于 本文件。 GB/T3323焊缝无损检测射线检测 GB/T3375焊接术语 GB/T5185焊接及相关工艺方法代号 GB/T6417金属熔化焊接头缺欠分类及说明 GB/T11345焊缝无损检测超声检测技术、检测等级和评定 GB/T12467金属材料熔焊质量要求 GB/T19418钢的弧焊接头缺陷质量分级指南 GB/T20737无损检测通用术语和定义 GB/T34628焊缝无损检测金属材料应用通则 GB/T45288人工智能大模型 3术语和定义 GB/T3375和GB/T45288界定的以及下列术语和定义适用于本文件。 3.1 焊接大模型weldinglarge-scalemodel 可用于焊接工艺优化、焊接缺陷检测、焊接过程控制等基于大规模数据和人工智能技术构建的具有 大规模参数和复杂结构的模型。 全国团体标准信息平台 T/CWAN0175—2026 23.2 单模态mono-modal 和焊接相关的文本、图像、音频的任意一种数据类型。 3.3 多模态multi-modal 和焊接相关的图文、图音、文音、或图文音的任意多种数据类型。 3.4 焊接数据weldingdata 与焊接过程相关的基础知识、多模态数据、焊接质量检测结果等。焊接多模态数据包括但不限于焊 缝图像/视频、焊接电流、电压、焊速、焊枪摆幅、左侧停留时间、右侧停留时间、左摆速、右摆速、 材料参数、热成像、熔池图像/视频、声发射信号等，环境温、湿度等。 3.5 数据标注datalabeling 对焊接数据（如图像、视频、传感器信号）进行人工或半自动化标记，赋予其语义标签（如焊接质 量合格、缺陷类型等）。 3.6 预训练pre-training 在高质量焊接领域知识数据上对模型进行初步训练，以提取基础特征，后续通过微调适配焊接场景。 3.7 微调fine-tuning 在预训练模型基础上，使用焊接领域优质小样本标注数据，提升模型在特定任务上的性能。 3.8 词元token 词元是指文本处理的最小语义单元，是模型输入、输出及计算的基本单位，通常是经过分词算法分 割后的可处理的离散单元，通常情况下中文1token≈2汉字，英文1token≈4字母。 3.9 焊接大语言模型weldinglargelanguagemodel 在大规模通用语料及焊接专业语料上训练，并针对焊接领域任务进行优化或微调的自然语言处理模 型，能够以自然语言形式回答、推理、分析或生成焊接相关内容。 3.10 焊接基准数据集weldQA-benchmark 面向焊接领域的多维能力评估基准数据集，涵盖知识面、推理能力、实践应用能力等维度，包含多 项选择题。 3.11 全国团体标准信息平台 T/CWAN0175—2026 3标准符合度standardcompliance 模型在多项选择题中回答涉及焊接行业标准、法规、规范等内容时，选择结果与相关标准一致的程 度。 3.12 专家共识突破指数expertconsensusbreakthroughindex,ECBI 衡量模型在多选题中选择超出专家共识的创新性方案的有效性。 3.13 工艺创新有效性系数processinnovationvalidity,PIV 模型提出的工艺创新方案，经仿真或实验验证后有效的比例。 3.14 无损检测盲测准确率non-destructivetestingblindaccuracy,NDT-BA 在不提供检测图谱，仅提供材料成分、焊接热输入、拘束度及环境参数的前提下，模型准确预测潜