铁路缺陷智能巡检系统
客户:某针路局
铁路缺陷智能巡查系统融合 Anomalib 异常检测与多模态大模型双引擎,自动识别钢轨伤损、盖板缺失等八类典型缺陷,实现视频扫描、热力定位、AI 研判与人工复核闭环,替代人工徒步巡检,降低漏检率,保障铁路运行安全。









============================================================
铁路缺陷智能巡查系统 功能清单
基于 Anomalib 异常检测与多模态大模型(VLM)双引擎
============================================================
一、统一身份认证与权限管理
1.1 账号登录认证
用户凭账号口令登录系统;密码经SHA-256哈希加密存储、不明文落盘;登录成功后由服务端签发会话令牌并通过HttpOnly Cookie下发,保障身份凭证安全。
1.2 会话与权限拦截
全部业务页面与接口强制鉴权,未登录访问自动跳转登录页;登录通过后按权限开放数据驾驶舱、样本、训练、识别、大模型研判等功能,一键登出即销毁服务端会话。
1.3 密码安全管理
支持登录人自助修改口令,须先校验原密码并通过哈希比对后方可更新,防止越权改密。
二、综合数据驾驶舱
2.1 全局指标总览
一屏汇总样本库总量、数据集数、模型版本、巡检视频数、已检出缺陷数、运行中任务数六类核心指标并实时刷新,领导一屏掌握系统全局运行态势。
2.2 最新缺陷动态
自动列出最新检出的缺陷记录,展示帧号、发生时间点、异常得分与复核状态,待复核事项一目了然,支撑快速督办与决策。
2.3 任务与算力监控
展示最近识别任务的处理进度与已处理帧数,实时刷新GPU型号、显存占用、利用率及当前运行任务日志,算力使用情况透明可查。
三、巡检样本库管理
3.1 数据集分组管理
按现场线路、区间或检测部位建立数据集,支持自定义名称与说明,样本数随上传/删除自动统计,训练时按数据集选取,实现检测对象的分类组织。
3.2 样本上传与归集
支持正常样本与缺陷样本分类上传,图片以时间戳命名防止重名覆盖;分页浏览、每页70条并支持跨页翻页,适配大规模样本管理。
3.3 缺陷标注管理
对样本进行结构化标注,记录缺陷类型、缺陷框坐标与文字备注;标注过的缺陷图可直接作为多模态大模型的参考缺陷图,实现标注资产复用。
3.4 样本批量运维
支持单条删除、勾选批量删除与一键清空,删除时同步清理磁盘图片文件,避免存储空间泄漏,文件与数据库记录保持一致。
3.5 训练数据闭环回流
现场复核发现的新缺陷样本可回流样本库,持续扩充训练集,形成“识别—复核—回流—再训练”的数据增强闭环,模型效果随系统使用持续提升。
四、AI模型训练平台
4.1 异常检测算法选型
基于Anomalib框架内置PatchCore、PaDiM、EfficientAd三种主流工业异常检测算法;仅需正常样本即可建模,适配铁路场景“正常占绝大多数、缺陷形态多变、缺陷样本稀缺”的特点,少样本即可训练出可用模型。
4.2 训练参数配置
可视化配置图像尺寸、训练轮次、批次大小、GPU卡号、学习率、权重衰减、数据增强开关、早停策略与并行加载数等参数,满足不同现场分辨率与算力条件。
4.3 GPU加速训练
自动识别nvidia-smi可用GPU设备并支持指定卡号,后台线程异步执行训练,训练日志实时滚动输出,训练过程全程可视、可追踪。
4.4 训练质量评估
训练完成自动输出Image-AUROC、Pixel-AUROC、精确率(Precision)、召回率(Recall)、F1-Score等核心质量指标并写入模型元数据,量化模型检测能力。
五、模型版本管理与发布部署
5.1 多版本并存管理
每次训练自动生成版本号(v日期-任务ID),模型文件按版本目录独立存储、互不覆盖;各版本的训练任务、指标、部署时间完整记录,历史可追溯。
5.2 一键部署与下线
同一时刻仅一个版本在线服务于识别,一键部署时自动取消其他版本的在线状态;支持将历史版本归档下线,保持在线模型清单清晰。
5.3 模型版本回滚
识别任务启动时可下拉选择任意历史模型版本,重新部署即可实现模型回滚,应对新模型效果不及预期时的快速切换需求。
六、巡检视频智能识别引擎
6.1 巡检视频接入解析
支持上传车载巡检、手持拍摄等铁路巡检视频,自动解析视频分辨率、帧率、时长等元信息并入库统一管理。
6.2 抽帧GPU推理
按可配抽帧间隔对视频抽帧,调用PatchCore等异常检测模型在GPU上逐帧推理打分;无GPU环境自动降级为CPU统计推理,保证全流程在低配环境下仍可运行。
6.3 缺陷热力图标注
对异常区域(最高5%像素)叠加热力图,经形态学开运算去碎点、膨胀处理后以异常外接红框标记;正常区域保持原图不覆盖,实现“精准高亮缺陷、不干扰正常画面”,聚焦盖板缺失、裂纹等细微缺陷的精准定位。
6.4 实时监控双画面
推理过程中以640×360分辨率双画面轮询刷新原图与标注图,标注图叠加帧号与异常得分,以绿/红两色直观区分正常帧与异常帧。
6.5 任务全周期控制
支持随时手动停止识别、断点续跑(从已处理帧继续),进度与已处理/总帧数实时显示,日志窗口滚动输出;视频删除时级联清理关联任务与抽帧图片。
6.6 八类典型缺陷覆盖
面向铁路巡检八类典型缺陷:①钢轨表面伤损(裂纹、擦伤、压溃、波浪磨耗);②轨枕失效(空吊、裂缝、破损、缺失);③扣件异常(螺栓松动、弹条折断、扣件丢失);④道岔部件异常;⑤电缆槽/排水沟盖板缺失(重点);⑥盖板破损断裂;⑦线路异物入侵(落石、树木侵限、轻飘物挂网);⑧路基与隧道异常(沉降、渗漏水、衬砌开裂)。
七、多模态大模型研判引擎
7.1 大模型接口接入
兼容OpenAI标准接口(/chat/completions),可配置大模型服务地址、API密钥与模型名称(默认qwen-vl-chat),提供一键连接测试,支持接入私有化部署或国产多模态大模型。
7.2 参考缺陷图比对
从样本库“缺陷样本”中选取参考缺陷图,与待检测帧一并送入大模型进行视觉比对,无需重新训练即可识别新型、未见过的缺陷样式,快速响应新缺陷类型。
7.3 自然语言自定义研判
用户以自然语言描述需要检测的缺陷特征,大模型据此分析并返回结构化结果(是否缺陷defect、缺陷类型type、置信度confidence);无结构化输出时按“异常/缺陷/缺失”关键词兜底判定。
7.4 流式实时分析
按1fps抽帧,大模型流式输出分析文本,界面实时滚动展示“分析中”→研判结论,分析过程透明可感;支持暂停、继续、清空结果重启与任务删除。
7.5 双引擎协同互补
Anomalib异常检测引擎负责快速、标准化的像素级异常定位(打底),多模态大模型负责可解释的缺陷语义研判与新型缺陷识别(增强),双引擎互补兜底,兼顾检测效率与研判智能化水平。
八、缺陷结果管理与人工复核
8.1 缺陷结果清单
按帧号升序分页展示缺陷记录(每页10条),呈现帧号、发生时间、异常得分、缺陷类型与复核状态,支持单条与批量删除。
8.2 AI缺陷报告生成
调用大模型(Ollama兼容接口,默认qwen2.5:7b)针对每条缺陷自动生成专业处置报告,内容涵盖缺陷情况、可能安全风险与维修处置建议(100字以内);大模型不可用时自动降级为规则化报告,保证报告不中断。
8.3 人工复核闭环
每条缺陷可标记“已复核/待复核”,误报经人工删除后形成真实训练样本回流模型库,形成机器初筛—人工复核—样本回流的闭环管理。
8.4 结果批量运维
支持勾选批量删除缺陷记录,删除时同步清理对应的抽帧原图与标注图,磁盘空间及时释放。
九、系统运维与运行监控
9.1 GPU算力监控
通过nvidia-smi/pynvml实时采集GPU型号、利用率、已用/总显存容量、GPU温度,展示推理FPS吞吐,算力负载一目了然。
9.2 系统参数配置
可视化配置缺陷判定阈值(0-1可调)、抽帧间隔、LLM/VLM接口地址与密钥、单位名称、系统名称等全部参数,持久化存储于SQLite数据库。
9.3 轻量单机部署
基于FastAPI+SQLite技术栈,单机即可运行,无外部数据库与中间件依赖,支持Windows/Linux及国产操作系统环境部署,便于现场快速落地。
十、数据安全与可靠性保障
10.1 数据全程留痕
样本、模型、视频、缺陷结果全链路结构化存储,每条缺陷留存帧号、时间戳、热力图标注图与处置意见,支持随时回溯审计,满足铁路安全管理可追溯要求。
10.2 异常任务自愈
服务重启后自动将上次未正常退出的“运行中”任务标记为失败,避免僵尸任务占用资源;删除操作级联清理磁盘文件,保障系统长期稳定运行。
10.3 数据库安全存储
采用SQLite轻量数据库存储全部业务数据(用户、样本、训练任务、模型版本、识别任务、缺陷结果等),数据本地闭环存储,支持内网离线部署,数据不出内网。
============================================================
共 10 个一级功能 / 39 项二级功能
============================================================
相关案例
-
十维感知*智保安钢
智能制造 · 包头钢铁
-
智慧监狱项目
公检法 · 上海/重庆/天津/内蒙/辽宁/广东/江西等
-
智慧监所项目
公检法 · 上海/重庆/天津/内蒙/辽宁/广东/江西等
-
智慧医院安全保障项目
医疗健康 · 北京等地多个三甲医院