前端
现场操作与复核工作台
- 六相机总览、融合视图与单路聚焦
- 实时运行状态与缺陷事件更新
- 历史检索与图像级人工复核
- 模型、样本、参数与报警治理
CASE / 01计算机视觉 · 边缘系统 · 模型治理
多相机实时工业表面检测
把采集、检测、证据回溯与模型治理接成一条生产链路。
01 / 项目概览
职责视觉管线与系统工程
重点多相机采集 / 推理 / 追溯 / 治理
技术栈Python, PyTorch, OpenCV, Django, Redis, Vue 3, .NET
项目语境保密工业部署；GPL-3.0-only 公共前端使用合成数据重建
02 / 产品证据
依据真实系统边界重建的公开演示证据。
这些界面保留实时检测、证据追溯与模型治理的信息结构，但客户标识、生产图像、业务记录和指标均已替换为明确标注的合成内容。
03 / 问题背景
工程问题远不止训练一个检测模型：六路线扫视角需要在不阻塞生产链路的前提下完成采集，与正确的工件和区段身份绑定，经过预处理与缺陷推理后，形成可持久化、可定位、可由现场人员复核的证据。
关键约束
01六视角采集与边缘带宽02预览链与正式检测链隔离03工件与区段数据谱系04稀缺缺陷与困难负样本05可持久化的复核证据04 / 系统方案
拆分采集热路径、业务真值与复核闭环，并让每个边界都可观察。
01边缘采集六视角
02预处理 + ROI微批处理
03异常 + 缺陷推理
04证据 + 复核持久闭环
01
预览帧由边缘采集端直接送往浏览器；正式帧先持久化并快速确认，再进入异步推理。运行态、缺陷事件、图像证据与复核变更保持彼此分离，但通过明确契约建立可追溯关系。
05 / 系统架构
四个模块、三条数据路径，共同完成一份可追溯的检测契约。
系统把运行态控制、latest-only 实时预览与持久化正式检测拆成三条路径。以下说明保留已核验的软件边界与等待语义，同时省略客户身份、现场拓扑、存储地址、报警阈值、凭据、容量配置与生产参数。
后端
业务真值与链路编排中心
- 统一维护工件、区段与运行身份
- 快速确认正式帧并调度异步任务
- 持久化帧、图像、检测与复核谱系
- 提供 REST、事件 WebSocket 与治理接口
采集
六视角边缘采集
- 在两个逻辑边缘节点上驱动六路线扫相机
- 提供 latest-only 原始、聚焦与融合预览流
- 依据运行信号冻结上下文并门控正式采集
- 先写入原始图像，再提交元数据
算法
视觉推理服务
- 执行预处理与 ROI 提取
- 批量完成异常与缺陷推理
- 按存储位置直接读取图像
- 返回缺陷、位置与证据元数据
05.1 / 模块通信图
同一套系统，三条不同的数据路径。
控制、预览和正式检测承担不同的一致性与时延目标。把它们拆开，才能避免操作员画面、业务真值和算法吞吐彼此拖累。
低延迟 / latest-only持久化 / 可追溯控制与业务上下文
运行态控制
生产信号信号与身份
形成当前工件、区段和运行阶段
运行态适配
后端业务真值
统一维护运行态与冻结上下文
Runtime control
采集采集门控
依据完整快照决定正式帧是否允许进入
实时预览
采集多相机回调
生成单路、聚焦和融合预览
内存 / JPEG
边缘流仅保留最新帧
拥塞时允许覆盖旧画面
Preview WebSocket
前端现场工作台
直接消费预览，不等待正式推理
正式检测
采集冻结正式帧
绑定 frame、工件、区段与相机身份
Durable write
共享存储原图持久化
大图字节留在数据平面
JSON ingress
后端校验并快速确认
路径与上下文入队，采集立即继续
HTTP batch
算法批量视觉推理
按路径读图并执行预处理、异常与缺陷
REST + Events
后端 / 前端证据闭环
结果落库、增量推送、按需复核
关键原则：预览帧可以被新帧覆盖；正式帧必须拥有冻结身份、持久化位置和可重试的处理记录。
05.2 / 正式检测流程图
一次正式检测，先保证身份正确，再追求吞吐。
采集回调之后立即分流。预览支路只服务操作员可见性；正式支路则建立一条从原图、任务、模型结果到人工复核的持久证据链。
BACKEND建立运行身份
确认当前工件、区段和采集阶段
BACKEND → CAPTURE下发完整控制快照
携带正式绑定许可与冻结上下文
CAPTURE六视角采集回调
同一入口分离预览帧和正式帧
PREVIEW
最新画面直达前端
不入队、不落业务库；发生拥塞时优先保住新鲜度。
01 / CAPTURE
原图先落盘
写入成功后才提交路径与冻结元数据。
02 / INGRESS
校验、幂等、快速 ACK
ACK 只表示已接收调度，不表示检测完成。
03 / WORKER
持久任务与有界合批
队列吸收推理波动，Worker 组织微批任务。
04 / ALGORITHM
进程内视觉流水线
按共享路径读图，保持原图坐标完成 ROI、异常与缺陷阶段。
05 / BACKEND
绑定谱系并落库
结果映射回 frame、相机、区段与模型版本。
06 / FRONTEND
增量展示与按需复核
轻量事件更新现场状态，完整证据通过 REST 加载。
INVARIANT即使推理延迟返回，结果也只能写回它进入系统时冻结的 frame 与 section；不能拿“当前页面状态”重新猜测归属。
05.3 / 关键时序图
快速 ACK 把采集时延与推理时延解耦。
这张图强调发生顺序与等待边界：原图写入成功后才提交正式元数据；入口确认不等待算法；前端先收轻量增量，再按需读取完整证据。
01生产信号
02后端
03采集
04存储 / 队列
05算法
06前端
A / 建立运行上下文
B / 接收正式帧
C / 推理与证据闭环
图中只保留公开的软件合同；现场地址、凭据、阈值、容量配置和生产性能数据均未公开。
05.4
通信合同索引
01生产信号运行态适配器后端
建立权威的工件与区段上下文。
02后端运行态 / 控制上下文采集
下发权威身份与正式采集门控条件。
03采集预览 WebSocket前端
以 latest-only 方式传输相机与融合画面，不进入正式检测链。
04采集JSON 正式入站后端
原图持久化后，连同冻结的业务上下文提交图像位置。
05后端Redis Worker + HTTP 批处理算法
将快速确认与有界微批推理解耦。
06算法结构化结果后端
返回检测结果，并持久化映射到帧与区段谱系。
07后端REST + 事件 WebSocket前端
按需提供历史与详情，同时推送轻量实时增量。
05.5
检测链路逐步说明
- 01
冻结运行身份
后端建立当前工件与区段真值；采集端把这份上下文冻结到每个正式帧，避免延迟结果串段。
- 02
先持久化，再入站
采集端先写入原始图像，再提交存储位置与元数据，不让大图字节穿过业务 API。
- 03
快速确认并排队
后端校验后快速确认入站，将持久任务写入 Redis，使采集不被推理耗时阻塞。
- 04
批量视觉推理
Worker 组织有界任务；算法服务读取共享图像，依次完成预处理、ROI、异常与缺陷检测。
- 05
落库证据并推送增量
检测结果绑定冻结的数据谱系并持久化，再压缩为轻量实时事件推给前端。
- 06
人工复核与模型治理
操作员按需读取完整证据；复核结果进入样本治理与受控模型迭代闭环。
06 / 技术挑战
01
让预览退出正式链路
操作员预览使用 latest-only 边缘流；只有完成正式绑定的帧才占用持久化与推理资源，避免展示流反向拖慢检测。
02
在区段重叠中保持身份一致
为每个正式帧冻结工件与区段上下文，使延迟返回的推理结果不会被错误绑定到新的生产状态。
03
把检测结果变成可复核证据
按整段建立轻量图像索引，将缺陷映射回相机与位置，再按需加载详细证据，避免一次性向浏览器推送全部重数据。
04
治理模型变更
分别管理预处理、异常与缺陷模型版本，并将人工复核、样本治理与受控迭代连接起来。
07 / 项目结果
只陈述有证据支持的结果。
下列能力已对照内部实现与维护中的工程文档核验。客户身份、现场拓扑、生产图像、吞吐量、准确率、报警规则和部署地址均不公开；公开界面中的所有数值仅用于演示，不代表生产结果。
01六视角边缘采集，以及融合总览与单路聚焦视图实现已核验
02从帧、区段到缺陷的持久化证据谱系实现已核验
03实时事件、历史检索与图像级人工复核实现已核验
04预处理、异常与缺陷模型的版本化治理实现已核验