只研一个点,只做一件事 服务热线:13910536016(微信同号)

案例介绍

案例介绍 / 铁路缺陷智能巡检系统

在轨业务

铁路缺陷智能巡检系统

客户:某针路局
铁路缺陷智能巡查系统融合 Anomalib 异常检测与多模态大模型双引擎,自动识别钢轨伤损、盖板缺失等八类典型缺陷,实现视频扫描、热力定位、AI 研判与人工复核闭环,替代人工徒步巡检,降低漏检率,保障铁路运行安全。

铁路缺陷智能巡检系统

未标题-2.jpg未标题-1.jpg未标题-4.jpg未标题-5.jpg未标题-6.jpg未标题-9.jpg未标题-3.jpg未标题-8.jpg未标题-7.jpg

============================================================

           铁路缺陷智能巡查系统  功能清单

   基于 Anomalib 异常检测与多模态大模型(VLM)双引擎

============================================================

一、统一身份认证与权限管理

   1.1 账号登录认证

       用户凭账号口令登录系统;密码经SHA-256哈希加密存储、不明文落盘;登录成功后由服务端签发会话令牌并通过HttpOnly Cookie下发,保障身份凭证安全。

   1.2 会话与权限拦截

       全部业务页面与接口强制鉴权,未登录访问自动跳转登录页;登录通过后按权限开放数据驾驶舱、样本、训练、识别、大模型研判等功能,一键登出即销毁服务端会话。

   1.3 密码安全管理

       支持登录人自助修改口令,须先校验原密码并通过哈希比对后方可更新,防止越权改密。

二、综合数据驾驶舱

   2.1 全局指标总览

       一屏汇总样本库总量、数据集数、模型版本、巡检视频数、已检出缺陷数、运行中任务数六类核心指标并实时刷新,领导一屏掌握系统全局运行态势。

   2.2 最新缺陷动态

       自动列出最新检出的缺陷记录,展示帧号、发生时间点、异常得分与复核状态,待复核事项一目了然,支撑快速督办与决策。

   2.3 任务与算力监控

       展示最近识别任务的处理进度与已处理帧数,实时刷新GPU型号、显存占用、利用率及当前运行任务日志,算力使用情况透明可查。

三、巡检样本库管理

   3.1 数据集分组管理

       按现场线路、区间或检测部位建立数据集,支持自定义名称与说明,样本数随上传/删除自动统计,训练时按数据集选取,实现检测对象的分类组织。

   3.2 样本上传与归集

       支持正常样本与缺陷样本分类上传,图片以时间戳命名防止重名覆盖;分页浏览、每页70条并支持跨页翻页,适配大规模样本管理。

   3.3 缺陷标注管理

       对样本进行结构化标注,记录缺陷类型、缺陷框坐标与文字备注;标注过的缺陷图可直接作为多模态大模型的参考缺陷图,实现标注资产复用。

   3.4 样本批量运维

       支持单条删除、勾选批量删除与一键清空,删除时同步清理磁盘图片文件,避免存储空间泄漏,文件与数据库记录保持一致。

   3.5 训练数据闭环回流

       现场复核发现的新缺陷样本可回流样本库,持续扩充训练集,形成“识别—复核—回流—再训练”的数据增强闭环,模型效果随系统使用持续提升。

四、AI模型训练平台

   4.1 异常检测算法选型

       基于Anomalib框架内置PatchCore、PaDiM、EfficientAd三种主流工业异常检测算法;仅需正常样本即可建模,适配铁路场景“正常占绝大多数、缺陷形态多变、缺陷样本稀缺”的特点,少样本即可训练出可用模型。

   4.2 训练参数配置

       可视化配置图像尺寸、训练轮次、批次大小、GPU卡号、学习率、权重衰减、数据增强开关、早停策略与并行加载数等参数,满足不同现场分辨率与算力条件。

   4.3 GPU加速训练

       自动识别nvidia-smi可用GPU设备并支持指定卡号,后台线程异步执行训练,训练日志实时滚动输出,训练过程全程可视、可追踪。

   4.4 训练质量评估

       训练完成自动输出Image-AUROC、Pixel-AUROC、精确率(Precision)、召回率(Recall)、F1-Score等核心质量指标并写入模型元数据,量化模型检测能力。

五、模型版本管理与发布部署

   5.1 多版本并存管理

       每次训练自动生成版本号(v日期-任务ID),模型文件按版本目录独立存储、互不覆盖;各版本的训练任务、指标、部署时间完整记录,历史可追溯。

   5.2 一键部署与下线

       同一时刻仅一个版本在线服务于识别,一键部署时自动取消其他版本的在线状态;支持将历史版本归档下线,保持在线模型清单清晰。

   5.3 模型版本回滚

       识别任务启动时可下拉选择任意历史模型版本,重新部署即可实现模型回滚,应对新模型效果不及预期时的快速切换需求。

六、巡检视频智能识别引擎

   6.1 巡检视频接入解析

       支持上传车载巡检、手持拍摄等铁路巡检视频,自动解析视频分辨率、帧率、时长等元信息并入库统一管理。

   6.2 抽帧GPU推理

       按可配抽帧间隔对视频抽帧,调用PatchCore等异常检测模型在GPU上逐帧推理打分;无GPU环境自动降级为CPU统计推理,保证全流程在低配环境下仍可运行。

   6.3 缺陷热力图标注

       对异常区域(最高5%像素)叠加热力图,经形态学开运算去碎点、膨胀处理后以异常外接红框标记;正常区域保持原图不覆盖,实现“精准高亮缺陷、不干扰正常画面”,聚焦盖板缺失、裂纹等细微缺陷的精准定位。

   6.4 实时监控双画面

       推理过程中以640×360分辨率双画面轮询刷新原图与标注图,标注图叠加帧号与异常得分,以绿/红两色直观区分正常帧与异常帧。

   6.5 任务全周期控制

       支持随时手动停止识别、断点续跑(从已处理帧继续),进度与已处理/总帧数实时显示,日志窗口滚动输出;视频删除时级联清理关联任务与抽帧图片。

   6.6 八类典型缺陷覆盖

       面向铁路巡检八类典型缺陷:①钢轨表面伤损(裂纹、擦伤、压溃、波浪磨耗);②轨枕失效(空吊、裂缝、破损、缺失);③扣件异常(螺栓松动、弹条折断、扣件丢失);④道岔部件异常;⑤电缆槽/排水沟盖板缺失(重点);⑥盖板破损断裂;⑦线路异物入侵(落石、树木侵限、轻飘物挂网);⑧路基与隧道异常(沉降、渗漏水、衬砌开裂)。

七、多模态大模型研判引擎

   7.1 大模型接口接入

       兼容OpenAI标准接口(/chat/completions),可配置大模型服务地址、API密钥与模型名称(默认qwen-vl-chat),提供一键连接测试,支持接入私有化部署或国产多模态大模型。

   7.2 参考缺陷图比对

       从样本库“缺陷样本”中选取参考缺陷图,与待检测帧一并送入大模型进行视觉比对,无需重新训练即可识别新型、未见过的缺陷样式,快速响应新缺陷类型。

   7.3 自然语言自定义研判

       用户以自然语言描述需要检测的缺陷特征,大模型据此分析并返回结构化结果(是否缺陷defect、缺陷类型type、置信度confidence);无结构化输出时按“异常/缺陷/缺失”关键词兜底判定。

   7.4 流式实时分析

       按1fps抽帧,大模型流式输出分析文本,界面实时滚动展示“分析中”→研判结论,分析过程透明可感;支持暂停、继续、清空结果重启与任务删除。

   7.5 双引擎协同互补

       Anomalib异常检测引擎负责快速、标准化的像素级异常定位(打底),多模态大模型负责可解释的缺陷语义研判与新型缺陷识别(增强),双引擎互补兜底,兼顾检测效率与研判智能化水平。

八、缺陷结果管理与人工复核

   8.1 缺陷结果清单

       按帧号升序分页展示缺陷记录(每页10条),呈现帧号、发生时间、异常得分、缺陷类型与复核状态,支持单条与批量删除。

   8.2 AI缺陷报告生成

       调用大模型(Ollama兼容接口,默认qwen2.5:7b)针对每条缺陷自动生成专业处置报告,内容涵盖缺陷情况、可能安全风险与维修处置建议(100字以内);大模型不可用时自动降级为规则化报告,保证报告不中断。

   8.3 人工复核闭环

       每条缺陷可标记“已复核/待复核”,误报经人工删除后形成真实训练样本回流模型库,形成机器初筛—人工复核—样本回流的闭环管理。

   8.4 结果批量运维

       支持勾选批量删除缺陷记录,删除时同步清理对应的抽帧原图与标注图,磁盘空间及时释放。

九、系统运维与运行监控

   9.1 GPU算力监控

       通过nvidia-smi/pynvml实时采集GPU型号、利用率、已用/总显存容量、GPU温度,展示推理FPS吞吐,算力负载一目了然。

   9.2 系统参数配置

       可视化配置缺陷判定阈值(0-1可调)、抽帧间隔、LLM/VLM接口地址与密钥、单位名称、系统名称等全部参数,持久化存储于SQLite数据库。

   9.3 轻量单机部署

       基于FastAPI+SQLite技术栈,单机即可运行,无外部数据库与中间件依赖,支持Windows/Linux及国产操作系统环境部署,便于现场快速落地。

十、数据安全与可靠性保障

   10.1 数据全程留痕

       样本、模型、视频、缺陷结果全链路结构化存储,每条缺陷留存帧号、时间戳、热力图标注图与处置意见,支持随时回溯审计,满足铁路安全管理可追溯要求。

   10.2 异常任务自愈

       服务重启后自动将上次未正常退出的“运行中”任务标记为失败,避免僵尸任务占用资源;删除操作级联清理磁盘文件,保障系统长期稳定运行。

   10.3 数据库安全存储

       采用SQLite轻量数据库存储全部业务数据(用户、样本、训练任务、模型版本、识别任务、缺陷结果等),数据本地闭环存储,支持内网离线部署,数据不出内网。

============================================================

 共 10 个一级功能 / 39 项二级功能

============================================================

在线留言

欢迎在此版块留言咨询、提出需求或建议,我们将尽快与您联系。支持富文本及直接粘贴/上传截图。

相关案例
已复制