武汉求微科技有限公司

>> 您现在的位置:细分应用
00 引言

检验和测试QWGDR内核工作于多种运行模式的应用场景,及其通用性和适应性技术指标,通过以下两种方式进行(共22个应用场景):

1)部分实际应用或测试场景(共15个应用场景,后缀"*"区分);

2)网络开源公共测试数据集(共07个应用场景,后缀"+"区分)。

这里,凡是使用到网络开源公共测试数据集的(共07个应用场景,后缀"+"区分),作者都会在问题描述中明确注明数据来源(如有侵权,请联系作者删除)和数据集协议(如果有的话),并在此声明:这些数据集仅用于测试QWGDR的通用性和适应性技术指标。

对于无明确注明数据来源的,均默认为部分实际应用或测试场景(共15个应用场景,后缀"*"区分)。其它更多实际应用场景请联系作者私聊。

 
01 公安视频侦查* 02 监控视频摘要* 03 监控视频浓缩* 04 花边缺陷检测*
05 自动跟随纠偏* 06 工件标记识别* 07 火车故障检测* 08 佩戴口罩检测*
09 安全帽检测* 10 滴塑反面检测* 11 火焰检测* 12 宠物识别+
13 猪脸识别+ 14 茶饼识别* 15 苹果树病害识别+ 16 血常规散点图诊断*
17 疟疾细胞检测+ 18 阿尔茨海默病分类+ 19 胸部X射线图像诊断+ 20 新冠病毒检测+
21 视频广告检测* 22 以图搜图*    

01 公安视频侦查*

返回

01.00 工具介绍

 

随处可见的视频监控,无非就是摄像头不停地抓拍录像。然而,一旦须要检索视频中的特定目标,人们面对的往往是在成千上万个小时的海量视频中大海捞针,传统上须要投入的人力和时间,简直让人不敢想象,也很不现实。因此,如何通过计算机程序快速从海量视频中搜索特定目标,已经成为当前视频检索和视频侦查迫切须要解决的问题。

市场上存在过的其它视频侦查系统,普遍仅仅是依赖于传统局限的"帧差法"、"背景建模法"、"颜色分类法"等,从视频中检测所有运动目标,开发出的系统大多停留在"视频摘要"、"视频浓缩"、"拌线检测"、"人车分类"等初期检索阶段,并没有进行特定目标的搜索,在海量视频检索任务中,人工筛选工作量仍然非常巨大,甚至无法接受。

前些年,很多开发者将重点投入到"以图搜图"这一热点主题的研究上,希望能够取得明显进展成果。然而,因技术方面主要存在很大的困难和挑战,如同类别差异、视点变化、光照差异、遮挡问题、复杂背景等,指望单纯通过"以图搜图"计算的"图像相似度"搜索海量视频中的特定目标,研究进展举步维艰,实际应用效果也非常局限,满足不了复杂多变的海量视频侦查任务。

这十多年来,作者从未中断过海量视频侦查技术的研究和开发,曾于2015年完成开发的"梯度海量视频内容搜索系统"(获得2015年度全国公安科技创新成果奖),继承并突破传统图像处理技术,允许用户根据实际情况,自定义视频侦查任务,创新性地提出并构建"级联检测器检测+验证器校验"的多级多个神经网络组成的神经计算专家系统,实现海量视频"多目标多场景"的同时搜索。

QWGDR细分应用之公安视频侦查,相比作者之前开发的"梯度海量视频内容搜索系统",在以下几个方面均有明显的改进和突破:

1)搜索准确率有很大的提升

2)极大地减少了搜索误判率

3)目标排名比之前更加靠前

4)搜索速度比之前很大提升

5)夜间和小目标搜索更可靠

6)搜索结果可用于多次比对

 

01.01 运行视频侦查

根目录路径:内核根目录路径\n不能包含空格。

案件名称:案件名称\n不能包含空格。

案件描述:案件描述\n不能包含空格。

感兴趣区域:格式:左,上,右,下\n每个取值均为[0,1]的相对位置\n例如:0,0,1,1。

侦查类型:视频搜索;视频摘要;视频浓缩 (普通);视频浓缩 (精细)。

起始文件相对索引:取值为[0,1]的相对索引\n例如:0。

终止文件相对索引:取值为[0,1]的相对索引\n例如:1。

运行参数:格式:nProcessCountV,nThreadCountIV,nThreadCountS\n例如:32,8,1。

起始帧相对索引:取值为[0,1]的相对索引\n例如:0。

终止帧相对索引:取值为[0,1]的相对索引\n例如:1。

视频目录:视频目录\n不能为空。

"加载"按钮:加载案件内核KNL文件。程序启动完成后,如果想继续之前的案件侦查,应先加载该案件名称对应的工作目录下的内核KNL文件。

"浏览"按钮:浏览文件夹。

"标注"按钮:标注感兴趣区域。

"运行"按钮:开始运行。

"停止"按钮:停止运行。

"清空"按钮:清空嫌疑目标。

"查看"按钮:查看嫌疑目标。

当侦查类型为"视频搜索"时,程序支持从现场周边线索视频、未标注的线索图像和已标注的线索图像三种方式添加嫌疑目标,同时支持组合、多次添加嫌疑目标。如暂无线索视频和图像,可先不添加,直接先运行视频侦查,后续再通过人工研判添加嫌疑目标。

 

01.01.01 从现场周边线索视频添加嫌疑目标

 

单击"从现场周边线索视频添加嫌疑目标"按钮,弹出"选取线索视频"对话框:

选取线索视频并单击"打开"按钮后,弹出"正在分析线索视频…"对话框:

完成线索视频的分析后,程序自动关闭"正在分析线索视频…"对话框(如果没有自动关闭,且进度条显示980,请手动单击"关闭"按钮继续),弹出"选取嫌疑目标"对话框:

手动选取嫌疑目标完成后,直接单击右上角的"×"按钮关闭"选取嫌疑目标"对话框,程序会自动将选取的嫌疑目标添加到内置的嫌疑目标目录中。

 

01.01.02 从未标注的线索图像添加嫌疑目标

 

单击"从未标注的线索图像添加嫌疑目标"按钮,弹出"线索图像目录"对话框:

选取线索图像目录并单击"确定"按钮后,弹出"标注嫌疑目标"对话框(具体请参见"图像标注工具"的使用说明):

手动标注嫌疑目标完成后,直接单击右上角的"×"按钮关闭"标注嫌疑目标"对话框,程序会自动将标注的嫌疑目标添加到内置的嫌疑目标目录中。

 

01.01.03 从已标注的线索图像添加嫌疑目标

 

单击"从已标注的线索图像添加嫌疑目标"按钮,弹出"线索图像目录"对话框:

选取线索图像目录并单击"确定"按钮后,弹出"选取嫌疑目标"对话框:

手动选取嫌疑目标完成后,直接单击右上角的"×"按钮关闭"选取嫌疑目标"对话框,程序会自动将选取的嫌疑目标添加到内置的嫌疑目标目录中。

 

01.02 研判搜索结果

图像目录:当前图像目录。

页索引:当前页索引。

行数:每页分行数。

列数:每页分列数。

"☆"按钮:弹出快捷菜单[F12]。

 

快捷菜单:刷新;浏览文件夹;显示(所有得分、1级得分、2级得分、3级得分、4级得分、5级得分、6级得分、7级得分、8级得分、9级得分、文件源、关键串);控制(文件源升序、文件源降序、关键串升序、关键串降序、跳过无标注);全部选择;全部不选;反向选择;复制;移动;删除;复制源;移动源;删除源;加入忽略列表。

"┠"按钮:第一页[Home]。

"《"按钮:上一页[Up/PgUp]。

"》"按钮:下一页[Down/PgDn]。

"┨"按钮:最后一页[End]。

"→"按钮:跳转到。

"刷新"按钮:刷新图像目录[F5]。

"浏览"按钮:浏览文件夹[Ctrl+B]。

"修改"按钮:修改行列数。

"切换排序"按钮:在"文件源升序"和"得分降序"之间切换排序方式。

"添加目标"按钮:选中的图像添加为嫌疑目标,并重新比对后更新搜索结果。

"切换目录"按钮:在"研判搜索结果"和"查看嫌疑目标"之间切换图像目录。

左键单击:选择图像。

Control键+左键单击:取消选择。

Shift键+左键单击:从前往后时,区间选择图像;从后往前时,取消区间选择。

左键双击:跳转到原始视频帧位置(具体请参见"视频编解码器"的使用说明)。

中键单击:全部不选。

 

01.03 研判视频摘要

 

视频摘要平均准确率约96.75%。

01.04 观看浓缩视频

 

视频浓缩平均浓缩比约38倍。

01.05 实战测评

 

平均运行速度和平均目标排名是实战测评公安视频侦查的两个关键性能指标。平均运行速度同时受计算机配置和视频数据复杂度的影响很大,而平均目标排名则更主要是受视频数据复杂度的影响较大。

实战测评QWGDR细分应用之公安视频侦查,所使用的视频数据集,具有以下几点普适性:

1)实战案例:181个实战案例共832个嫌疑目标,每个实战案例的嫌疑目标出现个数在[2,28]之间不等;

2)视频时长:共约350个小时;

3)视频大小:共约264GB;

4)涵盖地区:湖北、上海、北京、重庆、陕西、江苏、安徽、河南、河北、湖南、广西、贵州、甘肃、山东、黑龙江等;

5)监控场所:学校、火车站、菜市场、主次干道、大桥匝道、广场街道、小区内外、商场店铺、酒店网吧等;

6)天气条件:晴天、阴天、雨天、雪天;

8)拍摄时间:春、夏、秋、冬四个季节的白天和夜间各个时间段;

9)图像质量:超高清、高清、标清、模糊。

使用双路AMD EPYC 7T83处理器(128核256线程),视频总时长约350个小时,运行时间约2个小时,平均运行速度约175倍

原始视频共约350个小时,总帧数约3000万张图像,程序自动提取视频摘要后(平均准确率约96.75%),得到一个由280万张图像组成的图库,其中绝大多数为行人、机动车、非机动车、宠物等有潜在意义的运动目标。然后,对于每个实战案例,逐一使用其中1个嫌疑目标作为样本,快速训练神经网络,然后对该实战案例其它N个嫌疑目标和图库中280万张图像都用神经网络评分,将它们按照得分降序排列,统计出该实战案例用其中1个嫌疑目标作为样本时其它N个嫌疑目标在图库中的排名。181个实战案例共832个嫌疑目标,须要训练832次神经网络,同时图库中280万张图像也要用神经网络评分832次,经过完备的交叉1:N评分及其排名统计,最后得到4732个排名数据。经数据分析与数值计算,最终得到平均目标排名统计结果(后续版本升级内核后排名将会有变化)

★ 排名前05%的嫌疑目标个数约为55.98%;    ★ 排名前30%的嫌疑目标个数约为83.07%;

★ 排名前10%的嫌疑目标个数约为66.59%;    ★ 排名前35%的嫌疑目标个数约为85.11%;

★ 排名前15%的嫌疑目标个数约为72.60%;    ★ 排名前40%的嫌疑目标个数约为86.85%;

★ 排名前20%的嫌疑目标个数约为77.18%;    ★ 排名前45%的嫌疑目标个数约为88.30%;

★ 排名前25%的嫌疑目标个数约为80.41%;    ★ 排名前50%的嫌疑目标个数约为89.47%。

02 监控视频摘要*

返回

02.01 工具介绍

 

QWGDR细分应用之监控视频摘要,就是程序通过训练好的神经网络,检测监控视频中的行人、机动车、非机动车、宠物等有潜在意义的运动目标,将它们以摘要图像的形式对视频进行二次描述和重新刻画,人们分页快速浏览静止的摘要缩略图像,当对某个摘要感兴趣的时候,可以双击跳转到原始视频的对应帧位置,并可以截取保存有价值的视频片段或帧图像,从而压缩人们观看监控视频的时间,同时也提高了监控视频的使用效率。

平均运行速度和平均准确率是实战测评监控视频摘要的两个关键性能指标。平均运行速度同时受计算机配置和视频数据复杂度的影响很大,而平均准确率则更主要是受视频数据复杂度的影响较大。

实战测评QWGDR细分应用之监控视频摘要,所使用的视频数据集,具有以下几点普适性:

1)实战案例:181个实战案例共832个嫌疑目标,每个实战案例的嫌疑目标出现个数在[2,28]之间不等;

2)视频时长:共约350个小时;

3)视频大小:共约264GB;

4)涵盖地区:湖北、上海、北京、重庆、陕西、江苏、安徽、河南、河北、湖南、广西、贵州、甘肃、山东、黑龙江等;

5)监控场所:学校、火车站、菜市场、主次干道、大桥匝道、广场街道、小区内外、商场店铺、酒店网吧等;

6)天气条件:晴天、阴天、雨天、雪天;

8)拍摄时间:春、夏、秋、冬四个季节的白天和夜间各个时间段;

9)图像质量:超高清、高清、标清、模糊。

使用双路AMD EPYC 7T83处理器(128核256线程),视频总时长约350个小时,运行时间约2个小时,平均运行速度约175倍

181个实战案例共832个嫌疑目标,程序自动提取视频摘要后,遗漏27个嫌疑目标,平均准确率约为:(832-27)/832*100%=96.75%。这里,遗漏的27个目标多是因为目标太远太小、扭曲变形很大、夜间模糊难辨、强光照射或运动拖影等造成的程序漏检。

 

02.02 实战操作

 

02.02.01 自动提取视频摘要

02.02.02 人工研判视频摘要

03 监控视频浓缩*

返回

03.01 工具介绍

 

QWGDR细分应用之监控视频浓缩,就是程序通过训练好的神经网络,检测监控视频中的行人、机动车、非机动车、宠物等有潜在意义的运动目标,将它们所在的原始视频帧图像重新组合在一起,合成新的浓缩视频,剔除那些没有潜在意义的静止和干扰帧图像,从而压缩人们观看监控视频的时间,同时也提高了监控视频的使用效率。

平均运行速度和平均浓缩比是实战测评监控视频浓缩的两个关键性能指标。平均运行速度同时受计算机配置和视频数据复杂度的影响很大,而平均浓缩比则更主要是受视频数据复杂度的影响较大。

实战测评QWGDR细分应用之监控视频浓缩,所使用的视频数据集,具有以下几点普适性:

1)实战案例:181个实战案例共832个嫌疑目标,每个实战案例的嫌疑目标出现个数在[2,28]之间不等;

2)视频时长:共约350个小时;

3)视频大小:共约264GB;

4)涵盖地区:湖北、上海、北京、重庆、陕西、江苏、安徽、河南、河北、湖南、广西、贵州、甘肃、山东、黑龙江等;

5)监控场所:学校、火车站、菜市场、主次干道、大桥匝道、广场街道、小区内外、商场店铺、酒店网吧等;

6)天气条件:晴天、阴天、雨天、雪天;

8)拍摄时间:春、夏、秋、冬四个季节的白天和夜间各个时间段;

9)图像质量:超高清、高清、标清、模糊。

使用双路AMD EPYC 7T83处理器(128核256线程),视频总时长约350个小时,运行时间约2个小时,平均运行速度约175倍

原始视频共约350个小时,程序处理后的浓缩视频共约9个小时,平均浓缩比约38倍。这里,181个实战案例共832个嫌疑目标,程序自动运行视频浓缩后,遗漏0个嫌疑目标。

 

03.02 实战操作

 

03.02.01 自动运行视频浓缩

03.02.02 人工观看浓缩视频

04 花边缺陷检测*

返回

04.01 系统介绍

 

作为我国针织行业的重要分支,花边行业得到了快速发展,是纺织业中发展比较早、也比较成熟的传统行业和优势产业。福建长乐花边行业总量位居全国首位,其花边产品占据全国同类市场份额的70%-80%。据2013年统计,长乐地区拥有近千家花边企业,其中较具规模的有300多家,规模以上的有50家,年产值110亿。同时,长乐拥有各类花边机10000台,其中世界最先进的福建鑫港纺织机械、德国卡尔迈耶公司生产的电脑花边机4000台左右。

然而,花边蕾丝面料的生产,却是劳动密集型的。尽管采用先进的纺织机械生产布匹,也加装了激光装置进行局部断线检测,实际准确率不到20%,仍然依赖工人不停地在5米多长的机台之间来回巡检,往往布匹缺陷发生相当长时间后才被发现,浪费人力资源成本的同时,还影响花边蕾丝面料的生产质量。

近十年来,很多公司和研究者试图通过计算机视觉实现花边缺陷的自动检测,期间曾出现过其它各种专利和不成熟的实验产品,始终未能达到实际运行要求,主要是因为花边缺陷检测的难度巨大,影响因素繁多且又复杂,诸如:柔性面料之间的拉扯变形、原材料纱线的材质差异、各种毛糙线和油污垢的干扰、工作环境光照和磁场的变化、蕾丝花型的千差万别、花边机台的震动/跳针/断针/断纱、工人巡检和换线引起的晃动和干扰、纱线用完没有及时更换等。

QWGDR应用于花边缺陷检测,已在纺织厂装配运行,一旦缺陷发生,检测系统能够在最短的时间内发出警报,并且自动停机,显著提高花边布匹的生产质量,同时节约人力资源成本。

 

04.02 研究水平

 

QWGDR在花边缺陷检测的投入运行,克服了纺织业困扰多年的检测难题,填补了花边机智能改造的技术空白

 

04.03 整体设计

 

QWGDR细分应用之花边缺陷检测,硬件支持包括:工业计算机、高速工业相机、工业镜头、工业POE千兆网卡、工业串口卡、工业触摸显示器、相机光源、RS485警报灯、电流传感器、机械支架、接地保护等。

 

整体设计布局(机械支架和PLC电控由软件作者的同学刘福树设计制造):

04.04 运行实况

05 自动跟随纠偏*

返回

05.01 系统介绍

 

在工业生产中,带有图案的柔性材料的裁切是比较难于实现的工艺,一个是柔性材料本身的拉伸和不平整,另外一个是因为柔性材料在收放卷时裁切基准线会有扭曲和偏移的情况,意味着即使是最简单的直线裁切也会变得没那么规则,视觉纠偏是解决这个问题的最佳方案。

视觉纠偏利用高速相机采集运动状态下的裁切图案的图像数据,用算法去识别和计算实时偏差,然后根据误差去调整裁切机构以得到理想的结果。实现过程看似简单,实际上对柔性材料的数据偏差计算很考验算法人员的经验。

当然,视觉纠偏的用途不仅限于此,在各种须要实时跟踪或者调整的场合,甚至于更高级的异形跟随切割等都可以采用。

这里的视觉纠偏可以单独地给出偏差值,也可以包含控制柜直接给出控制信号。

QWGDR细分应用之自动跟随纠偏,硬件支持包括:工业触摸一体机、高速工业相机、工业镜头、PLC控制柜等。

 

05.02 操作方法

 

开机流程:

1)旋转电源旋钮上电,电源指示灯亮;

2)松开急停按钮,启动复位按钮,使裁刀组件置于丝杠中位(复位按钮的功能仅是使裁刀回丝杆中间位置,看需要使用,即如果裁刀在丝杆中间也可以不用操作此步骤);

3)调整整体裁刀组件(用配送的短六角扳手松开中间螺丝)使裁刀对准布面黑线然后用扳手固定住;

4)松开相机固定旋钮滑动相机使相机中心对准布面黑线与红色基准尺的中间位置然后锁紧;

5)按启动按钮使纠偏系统开始工作(页面上运行码开始跳动,系统状态由待机变为运行);

6)设置针距和速度两个参数和主机一致后即可开启主机进行生产。

关机流程:

1)确保纠偏系统处于运行状态下(如果不是在运行状态必须启动至运行状态)按触摸屏上的关机按 钮使系统主机先关闭;

2)等待5-10秒后关闭电源旋钮,电源指示灯熄灭。

特别说明:

1)一定要启动纠偏系统并确认纠偏系统处于运行状态后再开机生产!!!正常情况下无论主机是否处 于运行状态都可以不用单独关闭纠偏系统。

2)严格按照关机流程关机,不得直接关闭电源旋钮,里面有电脑主版,直接掉电容易产生使用故障 并直接影响使用寿命!!!

3)如果需要关闭纠偏统可以按下急停按钮使纠偏系统停止运行,想要再次启动纠偏时,松开急停按 钮,按启动按钮,待页面上运行码开始跳动后即再次启动成功。

4)运行过程中如果发生纠偏异常,想要进行手动调整(比如红色基准尺完全在布边外侧,此时需要 临时手动调整红色基准尺,使红色基准尺位置在布边以内),可以按下急停按钮使纠偏系统停止运 行,接着松开急停按钮,然后根据需要按前进(无论那一边按前进都是使切刀或者基准尺向版印 线内侧移动,后退相反)或者后退按钮使基准尺移动到想要的位置,最后在按系统启动按钮启动 纠偏系统。

 

布面黑线版印要求:

1)黑线距离布边最小5cm,印刷左右波动不超过10cm;

2)黑线最佳印刷宽度为2-2.5mm,最小宽度不得小于1.5mm;

3)布面接头处黑线需要接顺。

纠偏失效原因:

1)红色基准尺在布边之外(图例3);

2)黑线没有在红色基准尺的内侧或者重合(图例5-6);

3)黑线与基准尺的距离超过10cm;

4)基准尺或者黑线超过相机的视野范围(相机中心左右 10cm)。

远程服务说明:

1)提供一个无线WiFi信号给主机,无线WiFi的名字和密码设置如下(注意大小写):

Wifi名称 密码

iPhone 12345678

B087205 12345678

2)利用手机开热点提供无线WiFi,苹果手机在设置--通用--关于本机--名称--改为iPhone(注意第 二个P是大写)然后返回到设置--个人热点--无线局域网密码设为12345678--打开最大兼容性和 允许其他人加入开关,安卓系统手机在设置界面--个人热点--打开个人热点--设置 WLAN--把热 点的名称和密码分别改为B087205和12345678,建议使用安卓系统的热点更稳定。

05.03 运行实况

06 工件标记识别*

返回

06.01 系统介绍

 

上海某集团机械分厂,因生产工艺要求,连杆须分开两半进行制造加工,并加以标记,然后再根据标记进行装配焊接,形成最终的拼接连杆部件。

据了解,连杆标记不仅仅是一个编号,它代表着诸如高温退火、应力消除等加工条件。所以,拼接的两半连杆须确保标记相同,否则,将因存在质量安全隐患而成为废品。

该厂每天生产拼接连杆3000件,送往质检车间,由9名工人3班倒进行标记检验,每件连杆都须要3名工人同时检验通过才算合格。因此,每名工人每天都须要检验1000件拼接连杆的标记。由于各种客观条件限制,这种传统的人工检验不仅费时费力,而且正确率不足80%。

因此,须要定制一台"拼接连杆标记识别"装置,改由1名工人进行计算机自动识别检验。工人只须每隔1秒向识别装置传递连杆部件,让其自动识别后,给出识别成功提示或错误声音警报。

实践应用证明,这种先进的计算机识别装置,不仅省时省力,而且正确率大于99.7%。先进识别装置的使用,不仅为该厂节约人力资源成本,降低连杆部件的废品率,创造可观的经济效益,还提升其市场竞争能力。

 

06.02 操作方法

 

在该机械分厂车间工人的配合下,随机采样拍照2000多个工件的待识别图像,将其分成两组,一组用于训练,另一组用于测试,最后验收时,工人现场操作3天,每个工件由1名工人操作,待程序自动识别后,再由另1名工人检查程序识别是否正确,3天统计下来近1万个工件,错误率不到0.003。

 

1)使用"样本标注工具",对训练样本进行标记子图的人工标注(俗称抠图),并完成自动分割,得到训练目标检测器的正样本集。

2)使用步骤1)分割好的正样本集,负样目录为初始含有0张图像的目录,纠错目录为不含标记子图的十多万张图像组成的图库,使用Nvidia GeForce RTX 4090显卡或AMD Ryzen Threadripper 3990X 64-Core Processor或AMD EPYC 7T83 64-Core Processor(GPU+CPU联合训练、纯GPU训练、纯CPU训练),自动训练目标检测器。

3)使用步骤1)分割好的正样本集,人工标记每个字符的位置方框,并以此自动训练目标定位器。

4)使用步骤3)标记好且分割后的字符,人工归类得到字符集样本,并以此自动训练目标识别器。

5)至此,训练好的目标检测器,实现从图像中搜索定位标记子图,传给目标定位器进行字符定位分割,最后再传给目标识别器进行标记识别,即本应用场景的内核运行模式为"目标检测->目标定位->目标识别"。(下图检测出工件装配焊接错误,标记识别左右两边不同警报:0929 0726)。

 

06.03 运行实况

07 火车故障检测*

返回

07.01 需求介绍

 

机器视觉是检测铁路列车安全性的重要方法。查看列车底部、侧面是否有零件脱落是一项重要的检查项目。如果使用人工肉眼检测,须要提供专业的场地,且列车须要停驶,造成效率低下,人力成本增加。相反如果使用相机拍摄列车的底部、侧面等信息,不需要列车停驶,且在正常的铁路上就可实施,效率高,检测稳定。

列车故障类型多达五百多种,甚至还会更多,比如刹车片(闸片)磨损、防尘帽破损、油压减震器漏油等各种预报故障。

这里,同时检测8个点位的刹车片和防尘帽是否正常,从上到下、从左往右依次:刹车片、刹车片、防尘帽、防尘帽、防尘帽、防尘帽、刹车片、刹车片。

 

07.02 操作方法

 

1)使用"样本标注工具",对训练样本进行感兴趣区域子图的人工标注(俗称抠图),并完成自动分割,得到训练目标检测器的正样本集。

2)使用步骤1)分割好的正样本集,负样目录为初始含有0张图像的目录,纠错目录为不含感兴趣区域子图的十多万张图像组成的图库,使用Nvidia GeForce RTX 4090显卡或AMD Ryzen Threadripper 3990X 64-Core Processor或AMD EPYC 7T83 64-Core Processor(GPU+CPU联合训练、纯GPU训练、纯CPU训练),自动训练目标检测器。

3)使用步骤1)分割好的正样本集,人工标记8个点位的位置方框,并以此自动训练目标定位器。

4)使用步骤3)标记好且分割后的点位图,人工归类得到故障类型样本,并以此自动训练目标识别器。

5)至此,训练好的目标检测器,实现从图像中搜索感兴趣区域子图,传给目标定位器进行8个点位定位分割,最后再传给目标识别器进行故障类型识别,即本应用场景的内核运行模式为"目标检测->目标定位->目标识别"。(下图检测出刹车片磨损和防尘帽破损的故障警报)。

 

07.03 运行实况

08 佩戴口罩检测*

返回

08.01 需求介绍

 

从健康角度出发,佩戴口罩对于生活中的每个人来说是非常重要的。除了疫情的影响,工厂车间、商场或者食堂后厨人员都要求必须佩戴口罩作业,特别是面对频频发生的食品安全事件,对食品安全企业及餐饮单位进行监管,佩戴口罩检测系统价值越来越大。

佩戴口罩检测系统对学校明厨亮灶、餐饮后厨区域进行在线检测,当系统检测到后厨厨师进入厨房未佩戴口罩或者中途摘下口罩,立即发出警告,同时将警报截图推送给相关管理人员,提升监控区域的管控效率,有效避免食品安全事件频发,对厨房违规行为形成强大的管束作用。

佩戴口罩检测,首先要先进行人脸检测,然后再对检测到的人脸的口罩佩戴情况进一步识别:没戴口罩、口罩没戴好、口罩已戴好。

这里,测试QWGDR内核运行模式为"目标检测->目标识别"的应用场景。

 

08.02 操作方法

 

1)通过互联网收集和组织人工抠图两种途径,综合整理后,得到一个包含几十万张人脸的大型人脸样本数据库。该样本数据库包含不同的口罩佩戴情况:没戴口罩、口罩没戴好、口罩已戴好。

2)使用步骤1)得到的人脸正样本集,负样目录为初始含有0张图像的目录,纠错目录为不含人脸的十多万张图像组成的图库,使用Nvidia GeForce RTX 4090显卡或AMD Ryzen Threadripper 3990X 64-Core Processor或AMD EPYC 7T83 64-Core Processor(GPU+CPU联合训练、纯GPU训练、纯CPU训练),自动训练目标检测器。

3)使用步骤1)得到的人脸正样本集,自动训练目标识别器。

4)至此,训练好的目标检测器,实现从图像中搜索定位人脸子图,传给目标识别器进行佩戴口罩检测(下图检测结果:口罩没戴好)。

 

08.03 运行实况

09 安全帽检测*

返回

09.01 需求介绍

 

随着社会的发展和人们生活水平的进步,大家对工地、工厂等场景的安全行为、穿戴作业越来越重视,而对于工地安全作业而言,安全帽是工地必不可少的一种安全用具,如果工地施工人员进入工地不按要求戴安全帽,就可能在施工作业过程中受到工地现场的东西砸中头部伤害,以及一些想象不到的伤害,每个施工人员都应该牢记佩戴安全帽。

基于图像的安全帽佩戴检测系统,自动对现场人员是否佩戴安全帽进行检测识别,一旦发现现场工地施工人员没有按要求佩戴安全帽,立即发出警报,后台管理人员就可以及时处理,这为安全生产和创建平安工地提供有力的支持保障。

这里,使用收集的安全帽图像数据,测试QWGDR内核运行模式为"目标检测"的应用场景。

 

09.02 操作方法

 

1)使用"样本标注工具",对训练样本目录进行安全帽子图的人工标注(俗称抠图),并完成自动分割,得到训练目标检测器的正样本集。

2)使用步骤1)分割好的正样本集,负样目录为初始含有0张图像的目录,纠错目录为不含安全帽的十多万张图像组成的图库,使用Nvidia GeForce RTX 4090显卡或AMD Ryzen Threadripper 3990X 64-Core Processor或AMD EPYC 7T83 64-Core Processor(GPU+CPU联合训练、纯GPU训练、纯CPU训练),自动训练目标检测器。

3)使用训练好的目标检测器,对测试样本进行安全帽检测(下图检测到5个戴安全帽)。

 

09.03 运行结果

10 滴塑反面检测*

返回

10.01 需求介绍

 

当前市面上的滴塑机摆盘上料系统,绝大多数都是针对某一特定行业开发而成,不具有跨产品通用性。

开发通用的滴塑机摆盘上料系统,当工厂要更换滴塑标签时,工人只须将新产品的样品放到相机下采样一次自动学习后,就可以直接进入新的工作状态,而不须要再由滴塑机生产厂商提供技术服务和更新支持。

该系统的核心算法在于,循环传送过来的滴塑标签,它们的位置和正反面是随机的,程序须要检测出反面朝上的标签位置坐标,并计算好它们各自的朝向角度,每次一组5个目标发送给PLC,驱动蜘蛛手/吸盘运动到指定位置,完成抓取/吸附和摆盘上料。当检测反面数量少于5个时,蜘蛛手/吸盘继续等待;当检测反面数量多于5个时,循环传送停下等待,满足5个一组的,全部抓取/吸附完再继续传送运动。

这里,使用滴塑标签数据,测试QWGDR内核运行模式为"目标检测"的应用场景。

 

10.02 操作方法

 

1)使用"图像处理工具",对工人拍照的单张6*6样品图像进行滴塑标签子图的自动分割,并且每隔1度进行360度旋转,以此自动扩大样本集规模,得到训练目标检测器的正样本集。

2)使用步骤1)分割好的正样本集,负样目录和纠错目录均为空, 快速自动训练目标检测器。

3)使用训练好的目标检测器,对滴塑标签进行反面检测(下图检测到14个反面滴塑标签)。

 

10.03 运行结果

11 火焰检测*

返回

11.01 需求介绍

 

智慧工地和智慧工厂的建设,防火于未然,避免小火变大火,将火灾扑灭于摇篮之中,是确保安全生产的核心要务。

人工巡检火灾险情,费时费力,而且效率低下。

预先准备好大量的火焰和烟雾样本,训练神经网络,实现在图像中检测火焰和烟雾。

在工厂园区相应位置安装摄像头,进行24小时全天候监控,一旦程序检测到火焰和烟雾,立即发出警报。

将准备好的火焰样本分为两组数据,一组用于训练,另一组用于测试。

这里,使用火焰数据,测试QWGDR内核运行模式为"目标检测"的应用场景。

 

11.02 操作方法

 

1)使用"样本标注工具",对训练样本目录进行火焰子图的人工标注(俗称抠图),并完成自动分割,得到训练目标检测器的正样本集。

2)使用步骤1)分割好的正样本集,负样目录为初始含有0张图像的目录,纠错目录为不含火焰的十多万张图像组成的图库,使用Nvidia GeForce RTX 4090显卡或AMD Ryzen Threadripper 3990X 64-Core Processor或AMD EPYC 7T83 64-Core Processor(GPU+CPU联合训练、纯GPU训练、纯CPU训练),自动训练目标检测器。

3)使用训练好的目标检测器,对测试样本进行火焰检测(下图检测火焰:0.987932)。

 

11.03 运行结果

12 宠物识别+

返回

12.01 问题描述

 

宠物识别数据来源:http://www.robots.ox.ac.uk/~vgg/data/pets/

数据集协议:CC-BY 4.0。

图像在比例、姿势和光线方面有很大的变化。

这里,使用37类宠物的图像数据,测试QWGDR内核运行模式为"目标检测->目标识别"的应用场景。

 

12.02 操作方法

 

1)使用"样本标注工具",对37个样本目录进行宠物子图的人工标注(俗称抠图),并完成自动分割,得到训练目标检测器的正样本集。

2)使用步骤1)分割好的正样本集,负样目录为初始含有0张图像的目录,纠错目录为不含宠物的十多万张图像组成的图库,使用Nvidia GeForce RTX 4090显卡或AMD Ryzen Threadripper 3990X 64-Core Processor或AMD EPYC 7T83 64-Core Processor(GPU+CPU联合训练、纯GPU训练、纯CPU训练),自动训练目标检测器。

3)使用步骤1)分割好的正样本集,自动训练目标识别器。

4)至此,训练好的目标检测器,实现从图像中搜索定位宠物子图,传给目标识别器进行宠物识别(下图识别结果:dog_basset_hound即巴塞特猎犬)。

 

12.03 运行结果

13 猪脸识别+

返回

13.01 问题描述

 

猪脸识别数据来源:JDD—2017京东金融全球数据探索者大赛。

家住北京周边的养猪专业户老张最近遇见了一个难题,经过多年辛苦的劳动与努力,他家的养猪场规模越来越大,猪的数量从原来的几头发展到现在的上百头。看着这么多的肥猪老张心里美滋滋的。但伴随着猪数量的增长,愁人的问题也随之而来,这么多的猪体型都很相近,老张想要清晰的分辨出每头猪变得越来越困难。

赛题要求对30头猪的视频素材进行提取和训练,建立一个能够识别猪身份ID的算法模型。

这里,使用赛题数据,测试QWGDR内核运行模式为"目标检测->目标识别"的应用场景。

 

13.02 操作方法

 

1)使用"视频编解码器",对30头猪的视频素材,播放速度调到32,即每隔32帧,保存图像序列到A001-A010、B001-B010、C001-C010共30个样本目录中,文件夹名称代表猪身份ID。

2)使用"样本标注工具",对步骤1)保存的30个样本目录进行猪脸子图的人工标注(俗称抠图),并完成自动分割,得到训练目标检测器的正样本集。

3)使用步骤2)分割好的正样本集,负样目录为初始含有0张图像的目录,纠错目录为不含猪脸的十多万张图像组成的图库,使用Nvidia GeForce RTX 4090显卡或AMD Ryzen Threadripper 3990X 64-Core Processor或AMD EPYC 7T83 64-Core Processor(GPU+CPU联合训练、纯GPU训练、纯CPU训练),自动训练目标检测器。

4)使用步骤2)分割好的正样本集,自动训练目标识别器。

5)至此,训练好的目标检测器,实现从图像中搜索定位猪脸子图,传给目标识别器进行猪脸识别(下图识别结果:C010)。

 

13.03 运行结果

14 茶饼识别*

返回

14.01 需求介绍

 

普洱茶饼制作过程中,经历揉捻、蒸茶、压制等工序后,形成特殊的纹理形状是完全随机的。如同世界上没有完全一模一样的人脸,世界上也不存在完全一模一样的普洱茶饼,即普洱茶饼的纹理形状是唯一的。

由于普洱茶饼具有饮用价值和收藏价值,故其在运输、销售等过程中,会出现交易掉包、以次充好的现象。传统上普洱茶饼防伪多是通过二维码或NFC芯片模式,很难保证实物的唯一性。

从某普洱茶生产合作企业取得一千多个茶饼,使用两个不同的手机,每个手机正对每个茶饼的正、反面各拍一张照片。两个手机拍照,最终将得到两组研究数据。每组数据都有这一千多个茶饼的正、反面照片。

这里,使用研究数据,测试QWGDR内核运行模式为"目标检测->目标匹配"的应用场景。

 

14.02 操作方法

 

1)使用"样本标注工具",对第一组茶饼进行人工标注(俗称抠图),并完成自动分割,得到训练目标检测器的正样本集。

2)使用步骤1)分割好的正样本集,负样目录为初始含有0张图像的目录,纠错目录为不含普洱茶饼的十多万张图像组成的图库,使用Nvidia GeForce RTX 4090显卡或AMD Ryzen Threadripper 3990X 64-Core Processor或AMD EPYC 7T83 64-Core Processor(GPU+CPU联合训练、纯GPU训练、纯CPU训练),自动训练目标检测器。

3)使用步骤1)分割好的正样本集,自动训练目标匹配器。

4)至此,训练好的目标检测器,实现从图像中搜索定位普洱茶饼子图,传给目标匹配器进行茶饼ID识别(下图识别结果:0000000110)。

 

14.03 运行结果

15 苹果树病害识别+

返回

15.01 问题描述

 

苹果树病害识别数据来源:Kaggle竞赛,植物病理学2020-FGVC7,Plant Pathology 2020 - FGVC7。

数据集协议:CC-BY 4.0。

对影响农作物的许多疾病的误诊会导致化学药品的滥用,导致耐药菌病原体的出现,投入成本的增加,以及更多爆发,造成重大的经济损失和环境影响。

当前基于人类侦察的疾病诊断既耗时又昂贵,尽管基于计算机视觉的模型有望提高效率,但是由于受感染组织的年龄,遗传变异和树木内的光照条件导致的症状差异很大检测的准确性。

苹果树病害数据集,一共由六类数据:Healthy(健康)、Rust(锈病)、Scab(疮痂病)、Alternaria_Boltch (斑点落叶病)、Grey_Spot(灰斑病)、Mosaic(花叶病)。

这里,使用赛题数据,测试QWGDR内核运行模式为"目标检测->目标识别"的应用场景。

 

15.02 操作方法

 

1)使用"样本标注工具",进行苹果树叶子图的人工标注(俗称抠图),并完成自动分割,得到训练目标检测器的正样本集。

2)使用步骤1)分割好的正样本集,负样目录为初始含有0张图像的目录,纠错目录为不含苹果树叶的十多万张图像组成的图库,使用Nvidia GeForce RTX 4090显卡或AMD Ryzen Threadripper 3990X 64-Core Processor或AMD EPYC 7T83 64-Core Processor(GPU+CPU联合训练、纯GPU训练、纯CPU训练),自动训练目标检测器。

3)使用步骤1)分割好的正样本集,自动训练目标识别器。

4)至此,训练好的目标检测器,实现从图像中搜索定位苹果树叶子图,传给目标识别器进行苹果树病害识别(下图识别结果:灰斑病)。

 

15.03 运行结果

16 血常规散点图诊断*

返回

16.01 需求介绍

 

近年来,全自动血细胞分析仪广泛应用于临床工作。

但须要明白的事情:

1)散点图作用很大,但是局限性很明显,血细胞分析仪散点图对检查结果的异常有很好的提示作用,但是实际工作中血细胞形态多变,血常规图形表现缺乏特异性,仅可作为参考,不可代替人工镜检。

2)因为疾病种类繁多,和仪器种类多样,散点图更是复杂多变,看懂所有的散点图与疾病的对应关系变得没那么容易。

3)常见的异常散点图类型并不多,正常和异常的散点图差别还是挺大的,虽然不容易鉴别什么疾病,但是可以基本区分是否异常。

4)散点图的主要作用是一个初步判断,区分正常与异常,异常的图形须要进一步检查,镜检或者骨髓穿刺等。

从某知名合作医院取得几千张包含15个科室/疾病的血常规散点图,研究数据包含15个科室/疾病:甲状腺癌、乳腺癌、肺癌、肝癌、结肠癌、胃癌、肠道病毒、科萨奇3、科萨奇5、新型布尼亚病毒、内分泌、心内住院、眼科住院、V5乳甲外科、甲状腺癌术后。

这里,通过训练人工神经网络,实现根据血常规散点图自动诊断疾病类别,测试QWGDR内核运行模式为"目标识别"的应用场景。

 

16.02 操作方法

 

1)使用第一组数据,自动训练目标识别器。

2)使用第二组数据,进行血常规散点图诊断(下图诊断结果:新型布尼亚病毒)。

 

16.03 运行结果

17 疟疾细胞检测+

返回

12.01 问题描述

 

疟疾细胞检测数据来源:https://ceb.nlm.nih.gov/repositories/malaria-datasets/

数据集协议:CC0 公共领域共享。

该数据集包含2个文件夹:

感 染 :Infected

未感染 :Uninfected

共有27558张图片。

这里,随机将数据分成两组,第一组用于训练,第二组用于测试QWGDR内核运行模式为"目标识别"的应用场景。

 

12.02 操作方法

 

1)使用第一组数据,自动训练目标识别器。

2)使用第二组数据,对细胞图像进行疟疾细胞检测(下图检测结果:感染)。

 

12.03 运行结果

18 阿尔茨海默病分类+

返回

18.01 问题描述

 

阿尔茨海默病分类数据来源:

https://adni.loni.usc.edu/

https://www.alzheimers.net/

https://www.kaggle.com/datasets/jboysen/mri-and-alzheimers

https://ieeexplore.ieee.org/document/9521165

https://catalog.data.gov/dataset/alzheimers-disease-and-healthy-aging-data

https://www.nature.com/articles/s41598-020-79243-9

https://cordis.europa.eu/article/id/429468-the-final-epad-dataset-is-now-available-on-the-alzheimer-s-disease-workbench

数据是从多个网站/医院/公共存储库收集的。数据集由预处理的MRI(磁共振成像)图像组成。所有图像都调整为128*128像素。数据集有四类图像。数据集由总共 6400 张MRI图像组成。1级:轻度痴呆(896张);2级:中度痴呆(64张);3级:非痴呆(3200张);4级:非常轻度痴呆(2240张)。

这里,随机将数据分成两组,第一组用于训练,第二组用于测试QWGDR内核运行模式为"目标识别"的应用场景。

 

18.02 操作方法

 

1)使用第一组数据,自动训练目标识别器。

2)使用第二组数据,对MRI图像进行阿尔茨海默病分类(下图分类结果:中度痴呆)。

 

18.03 运行结果

19 胸部X射线图像诊断+

返回

19.01 问题描述

 

胸部X射线图像诊断数据来源:https://data.mendeley.com/datasets/rscbjbr9sj/2

数据集分为3个文件夹(训练、测试、val),并包含每个图像类别(肺炎/正常)的子文件夹。有5863张X射线图像(JPEG)和2个类别(肺炎/正常)。

胸部X线图像(前后)选自广州市妇幼医学中心1~5岁儿科患者的回顾性队列。所有胸部X射线成像都是作为患者常规临床护理的一部分进行的。

对于胸部X射线图像的分析,最初通过删除所有低质量或不可读的扫描来筛选所有胸部X光片以进行质量控制。然后,两名专家医生对图像的诊断进行了评分,然后才被批准用于训练AI系统。为了解释任何分级错误,评估集也由第三位专家进行了检查。

这里,随机将数据分成两组,第一组用于训练,第二组用于测试QWGDR内核运行模式为"目标识别"的应用场景。

 

19.02 操作方法

 

1)使用第一组数据,自动训练目标识别器。

2)使用第二组数据,进行胸部X射线图像诊断(下图诊断结果:肺炎)。

 

19.03 运行结果

20 新冠病毒检测+

返回

20.01 问题描述

 

新冠病毒检测数据来源:https://github.com/UCSD-AI4H/COVID-CT

数据集协议:CC-BY 4.0。

加州大学开源的CONVID-19 CT图像数据集。

该数据集总共有 349 张CT图像,其中183个是新冠病毒 CT图像、另外146个是非新冠病毒 CT图像。

这里,随机将数据分成两组,第一组用于训练,第二组用于测试QWGDR内核运行模式为"目标识别"的应用场景。

 

20.02 操作方法

 

1)使用第一组数据,自动训练目标识别器。

2)使用第二组数据,对CT图像进行新冠病毒检测(下图检测结果:感染)。

 

20.03 运行结果

21 视频广告检测*

返回

21.01 需求介绍

 

广告监测,概括来讲分两层含义,一类是商业行为,二类是政府行为。

商业行为:对媒体发布的广告进行全方位的监测,分析广告主发布广告的趋势,为广告投放提供客观的分析依据。

政府行为:商业发布的广告众多,其中不乏违法违规的广告,那么政府职能部门有责任和权力,监督广告的发布情况,职能部门包括:工商局,药监局等。

广告监测是企业投放广告及广告业务流程中必不可少的组成部分,为广告投放提供有力保障,同时也是了解竞争品牌广告投放走势的捷径,还可以让你即使了解异地广告投放。广告监测数据的另一个作用就是可以用来分析媒体的竞争环境。

这里,使用某广告监测中心对电视台节目连续抓取的视频数据,测试QWGDR内核运行模式为"目标检测"且目标检测器搜索模式为"整图比对"在视频中检测"敢为人先、追求卓越"武汉精神公益广告的应用场景。

 

21.02 操作方法

 

1)学习广告样本:使用一张"敢为人先、追求卓越"武汉精神公益广告作为正样本,负样目录和纠错目录均为空,快速自动训练目标检测器。

2)检测视频广告:对连续抓取的视频数据,运行QWGDR进行视频广告检测。

3)研判检测结果:可以在研判界面中双击某一张图像,程序将跳转到视频中该广告所对应的时间帧位置。

 

21.03 运行结果

22 以图搜图*

返回

22.01 需求介绍

 

以图搜图/以图识图,是指用户一次性给定一张或多张图像,要求在视频或图像数据库中,基于给定的图像内容进行相似子图搜索。以图搜图/以图识图这种应用场景,用户并不希望在训练样本的时候等待过长时间,允许搜索结果中存在误判,但是搜到的目标必须绝大部分在搜索结果中靠前排名。

这里,给定三张待搜索的图像,要求一次性快速训练目标检测器,然后在图像数据库中同时搜索跟这三张图像相似的子图,按相似度得分从大到小排序。

上面三张待搜索图像中,0001图像的尺寸是31*34,0002图像的尺寸是163*151,0003图像的尺寸是65*69。

 

22.02 操作方法

 

1)学习目标样本:内核恢复默认配置,取消"目标检测器特征向量扩展模式:水平翻转",使用三张待搜索图像为正样本,负样目录和纠错目录均为空,快速自动训练目标检测器。

2)搜索相似子图:将目标检测器最小得分阀值从默认的0.25改为0.61,运行QWGDR,在图像数据库中搜索相似子图。

3)研判搜索结果:对搜索结果按相似度得分从大到小排序,可以双击某一张图像,程序将跳转到图像数据库中该子图所对应的原图位置。

 

22.03 运行结果

版权所有 2005-2024 武汉求微科技有限公司 鄂ICP备2023028623号-1
网站设计与维护:李瑞鑫 手机:+8613554173709(微信同号)  邮箱:2822205767@qq.com
地址:武汉东湖新技术开发区高新大道778号奥山创意街区项目4号地块栋6层办公04室(自贸区武汉片区) 邮编:430000