【调研分析】基于 ReID 和跨镜跟踪技术的市场及应用分析

发布于:2024-04-29 ⋅ 阅读:(34) ⋅ 点赞:(0)

一、相关定义

ReID (Re-Identification)

Re-Identification ,简称 ReID,是一种在图像或视频库中定位特定目标的技术,属于图像检索的一个重要分支。ReID 主要应用于 Person ReID (行人重识别)和 Car ReID (车辆重识别),其中行人重识别是本篇讨论的重点。行人重识别任务是指,给定一个行人图像或视频片段,在指定的图库中找到相应的包含该搜索行人的其他图像及其对应的时间和空间位置。

跨镜跟踪 (Cross-View Tracking)

跨镜跟踪 是针对移动目标(如行人、车辆)在多个摄像头网络中,通过关联其特定时空特征,定位同一目标在不同摄像头视野下的连续存在。这一技术在实时监控、事件调查、行为分析等领域具有重要应用价值,有助于在跨摄像头视域变化的情况下追踪目标。

图像检索 (Image Retrieval)

图像检索 是一种在大规模图像集合中,根据用户提供的查询请求,检索出满足特定条件相关图像的技术。相比于 ReID,图像检索不局限于特定目标类别,且无严格的时间和空间约束,其搜索范围更广泛。

二、常用数据集

为推动 ReID 技术的研究与应用,研究人员创建了一系列专门的数据集,用于模型训练、算法验证和性能评估。以下列举了一些典型的数据集:

1. Market-1501

  • 摄像头配置 :包含 6 个摄像头(5 个高清 + 1 个低清)。
  • 行人数量 :包含 1501 个不同行人。
  • 图像数量 :共计 32,668 个行人矩形框,每人至少被 2 个摄像头捕获,单个摄像头中可能存在多张同一行人的图像。
  • 数据划分 :训练集包含 751 个行人(12,936 张图像,人均约 17.2 张);测试集包含 750 个行人(19,732 张图像,人均约 26.3 张)。

2. DukeMTMC-reID

  • 来源 :源自杜克大学的 DukeMTMC 多目标多摄像头跟踪数据集。
  • 摄像头配置 :包含 8 个同步高清摄像头。
  • 数据内容 :提供 7,000 余条单摄像机行人轨迹,以及超过 2,700 名独立人物的人工标注行人边界框。

3. CUHK03

  • 特点 :首个适用于深度学习的大规模行人重识别数据集。
  • 采集地点 :摄于香港中文大学校园。
  • 行人数量 :包含 1,467 个不同行人。
  • 摄像头配置 :由 5 对摄像头(共 10 个摄像头)采集数据。

4. MARS

  • 关系 :作为 Market-1501 数据集的扩展集。
  • 特点 :提供比基于图像的方法更丰富的视觉信息,适用于视频-based Person ReID。
  • 目标数量 :包括 1,261 个目标和 20,000 个跟踪片段。

5. DukeMTMC-VideoReID

  • 来源 :基于 DukeMTMC 数据集的视频版行人重识别子集。
  • 行人身份 :包含 702 个训练身份、702 个测试身份以及 408 个干扰身份。
  • 视频数量 :共 2,196 个训练视频和 2,636 个测试视频(总计 4,832 个)。
  • 采样频率 :每个视频每 12 帧采样一次人物图像。

三、关键指标

评估 ReID 和跨镜跟踪算法性能时,常用的指标包括:

1. Rank-1 (首次命中率)

Rank-1 指标衡量在候选库中检索到的与目标最相似图片被正确识别为该目标行人的概率。通常情况下,Rank-1 值越高,表明算法在单次检索中的识别准确性越好。

2. mAP (Mean Average Precision, 平均精度均值)

mAP 是一个综合考虑准确率(Precision)和召回率(Recall)的评价指标,用于衡量模型在给定 probe(查询)图像时,从 gallery(检索库)中找出所有匹配图像的整体能力。mAP 是评估 ReID 模型整体性能的重要指标,数值越高表示模型在多轮检索中的整体表现越优秀。

3. Rank-k

除了 Rank-1,还可以计算 Rank-5、Rank-10 等指标,表示在检索结果中前 k 个位置中出现正确匹配的概率。这些指标有助于评估模型在前几个检索结果中的识别准确性,尤其是当 Rank-1 值较低时,查看 Rank-5 或 Rank-10 是否较高,可以了解模型是否能在前几项结果中给出较接近正确的答案。

4. Cumulative Matching Characteristics (CMC) Curve

CMC 曲线 描述了随着检索结果中返回样本数量的增加,正确匹配样本出现的概率。曲线上的每一个点对应一个 Rank-k 指标,直观反映了模型在不同检索深度下的识别性能。

四、技术难点与可行性分析

通过深入阅读文献[1-17],总结出当前 ReID 和跨镜跟踪技术面临的主要挑战包括:

  • 数据集规模与泛化能力 :可用数据集规模相对较小,难以推广至区域级或城市级应用。数据集的规模限制了模型的泛化能力,尤其是在面对大规模、复杂场景时。
  • 标注成本高昂 :数据标注工作量大、成本高,限制了数据集规模的扩大和新数据集的创建,影响模型训练和算法验证。
  • 环境因素 :数据集中存在的视角变化、传感器特性差异、分辨率不一致、光照条件变化以及其他背景干扰因素,增加了算法设计与优化的难度。

尽管存在上述挑战,基于视频的 ReID 方法通过利用时空信息,已经在技术上取得了显著进步,如 DenseIL 模型在 DukeMTMC-VID 数据集上 Rank@10 达到 99.9%,显示出较高的技术可行性。此外,通过整合人脸、步态等生物特征以及其他的先验知识,可以进一步提升算法在封闭或近似封闭环境下的场景适应性,推动 ReID 和跨镜跟踪技术在实际应用中的落地。

综上所述,ReID 技术在行人重识别、车辆重识别以及跨镜跟踪等领域具有广阔的应用前景。尽管面临数据集规模、标注成本、环境因素等挑战,通过技术创新与优化,ReID 技术有望在未来的智慧城市、智能安防、商业分析等领域发挥更大作用。

五、信息收集

应用领域

  • 商业 :应用于大型连锁店,通过热区分析与停留分析,助力商家优化店铺布局、提升顾客体验、制定精准营销策略。
  • 交通 :在交通管理中,用于异常车辆(如事故车、套牌车)的检索,增强道路安全、打击违法行为。
  • 安防 :广泛应用于园区、分厂等封闭或半封闭场景,实现人物检索与异常行为检测,提升安全防护水平。
  • 文娱 :在体育赛事、影视制作、娱乐活动中,可用于精彩片段跟踪、战术分析、明星分析等,提升内容制作质量与观众体验。
  • 生态 :在野生动物保护中,通过分析濒危动物的生活习性,为物种保护策略制定提供科学依据。

主要竞品分类

  1. 人工智能企业 :代表企业包括商汤、旷视、依图、云从、格林深瞳等,凭借先进的计算机视觉技术和深厚的行业经验,提供全面的 ReID 解决方案。
  2. 终端设备厂商 :如海康、大华、宇视等,结合自身硬件优势,推出集成 ReID 功能的智能监控设备和系统。
  3. 集成商 :如千视通、中科视语、云天励飞、天地伟业等,专注于提供定制化的 ReID 应用集成服务,结合多种技术与产品,打造满足特定行业需求的解决方案。

竞品举例

商汤
  • 合作伙伴 :合作领域广泛,覆盖商业地产、文物保护、金融机构、大型企业、公共服务、医疗机构、互联网平台、智能家居等。
  • reID 产品与边缘产品 :提供一系列智能边缘盒产品(如龙腾系列、晧岳系列)及智能边缘分析软件(如百川系列),适用于大行业场景,但缺乏与调研技术直接相关的细分产品。
旷视
  • reID 产品与边缘产品

  • 旷视鸿图:AIoT 应用计算一体机 :专为中小型楼宇园区设计,集成了算法、算力与业务功能,提供无感通行、实时告警、跨时空回溯等服务

  • 智慧司法解决方案 :融合先进的 AI 技术,为公安监管、司法监管、警务督察、检察监督场景提供智能化管理和执法支持,推动司法系统的信息化与智能化进程。

依图
  • 合作伙伴 :主要集中在医疗机构,与多家知名医院、银联、高校、边检、海关等保持合作关系。
  • reID 产品与边缘产品 :虽然提供了多种解决方案,但未提供具体的参考信息。
云从科技
  • 合作伙伴 :覆盖金融、治理、出行、商业等领域,与众多银行、政府机构、机场、车企及地产公司合作紧密。
  • reID 产品与边缘产品
    • 谛格 AI 定义小站 :自主研发的嵌入式 AI 边缘计算设备,支持多算法融合与按需加载,适应金融、安防、商业等多元化应用场景。
    • 火眼跨镜追踪系统 :基于 Re-ID 技术与大数据处理,实现实时监控、轨迹检索、人体属性分析、离线视频快速分析等功能,服务于公安实战需求。
    • 火眼人像大数据系统 :结合人脸识别与大数据技术,提供实时监控、轨迹检索、布控告警、离线视频分析等功能,为公安各业务警种提供技术支持。
格林深瞳
  • reID 产品与边缘产品 :提供 深瞳战狼公安视图大数据解决方案视频结构化引擎 ,聚焦公安领域应用。
海康
  • reID 产品与边缘产品 :提供 通用智能网络硬盘录像机超脑系列产品 ,结合视频监控与智能分析功能。
大华
  • reID 产品和边缘产品 :产品功能丰富,包括嵌入式设计与操作系统、网络性能、存储能力、网络接口与功能、接口丰富性、故障报警、二次开发、设备接入与视频通道、综合安防功能以及高级特性(DH-IVS-IP7200型号)。
宇视
  • reID 产品和边缘产品:一机索迹神器 VDS :具备目标搜索、时空还原、数人数车、研判归档等功能,服务于案件侦查与数据分析。
千视通
  • reID 产品和边缘产品
    • 全目标视频结构化系统(ICS900-F) :采用形态识别跨镜追踪技术,实现秒级检索与案件线索提取。
    • 安全行为分析 AIoT 通用终端 :集成多种行为识别功能与 IoT 传感器联动,具备高性能算法、云边端设计、利旧组网改造等优势。
中科视语
  • reID 产品和边缘产品 :提供 智能边缘计算终端 ,专用于结构化分析。
云天励飞
  • reID 产品和边缘产品:解决方案智慧安防 :整合人/车/非属性识别、大数据秒级检索、多维数据融合、跨镜追踪(ReID)、同行人员分析、行动轨迹检索等技术,采用云+边+端架构,已广泛应用于城市安防。
天地伟业
  • reID 产品和边缘产品 :提供基于人脸点名的智能管教、一体化物联网管控、大数据分析研判、重点风险人员行为分析、多目全景警戒实景指挥等解决方案,全面覆盖监狱智能化监控需求。
广东神州科技有限公司
  • 企业简介 :专注于智慧司法、智慧监所、智慧军警、智慧应急等领域,提供专业智慧化解决方案。
  • 监狱智能化监控系统解决方案 :涵盖前端接入设备、音视频监控系统、报警系统、出入口门禁系统、广播系统、对讲巡更系统、AB 门出入精细管控、人员智能实时定位、人员活动轨迹视频还原、人脸轨迹追踪、重点人员布控预警、陌生人告警、越界报警、离岗检测、智能分析、数据统计与报表、系统集成、综合安防管理平台、系统定制与升级服务、客户案例、荣誉资质、合作伙伴等内容,形成一套完整、高效的监狱智能化监控体系。

六、市场趋势与未来展望

市场趋势

  1. 深度学习技术的持续发展 :随着深度神经网络模型的不断优化与创新,如 Transformer 结构、自注意力机制、动态卷积等技术的应用,将推动 ReID 和跨镜跟踪算法在识别精度、鲁棒性和泛化能力方面的进一步提升。
  2. 多模态融合 :融合多种生物特征(如人脸、步态、姿态、声音等)与视觉特征,结合情境信息(如时间、地点、天气等),能够提高目标识别的准确性和抗干扰能力,尤其在复杂环境下具有显著优势。
  3. 边缘计算与云计算的结合 :为了应对大规模实时监控和隐私保护的需求,ReID 和跨镜跟踪技术将更加侧重于边缘计算与云计算的协同工作,实现高效、低延迟的实时分析和数据保护。
  4. 隐私保护技术的融入 :随着数据隐私法规的日益严格,隐私保护技术(如差分隐私、同态加密等)将在 ReID 和跨镜跟踪系统中得到广泛应用,确保在进行目标识别的同时保护个人隐私。
  5. 标准化与合规化 :随着智慧监狱、智慧城市等相关标准的出台与完善,ReID 和跨镜跟踪产品的研发与应用将更加注重符合行业规范和法律法规要求,确保技术应用的合法合规。

未来展望

  1. 大规模场景应用 :随着数据集规模的扩大和算法性能的提升,ReID 和跨镜跟踪技术有望在更大范围内(如城市级乃至国家级)实现规模化部署,服务于公共安全、交通管理、商业分析等多元领域。
  2. 跨领域融合 :ReID 和跨镜跟踪技术将与物联网、大数据、云计算等前沿技术深度融合,构建一体化的智能监控与分析平台,为社会治理、应急响应、资源调度等提供有力支持。
  3. 个性化与定制化服务 :根据不同行业和场景的需求,将出现更多针对特定领域的 ReID 和跨镜跟踪解决方案,如监狱智能化监控、校园安全管理、零售客流分析等,以满足精细化管理需求。
  4. 伦理与法规的引导 :随着社会对数据隐私和伦理问题的关注度提高,ReID 和跨镜跟踪技术的研发与应用将更加注重遵循伦理原则,尊重个体权益,确保技术的合理、透明、可控使用。

综上所述,ReID 和跨镜跟踪技术在市场趋势的驱动下,将继续深化技术创新,拓展应用领域,并在尊重隐私、遵循法规的前提下,为构建智能化、安全化、人性化的社会环境贡献力量。同时,随着技术与市场的深度融合,ReID 和跨镜跟踪技术有望在未来成为智慧城市建设、公共安全管理、商业决策支持等领域的核心支撑技术之一。

【参考文献】

  1. 付登攀. 大规模行人重识别方法研究[D]. 中国科学技术大学, 2021
  2. 伍万能. 复杂体育运动场景中目标跟踪方法研究[D]. 湖南大学, 2020
  3. 单雄飞. 基于计算机视觉的海上多目标传播检测与跟踪关键技术研究[D]. 大连海事大学, 2020
  4. 宿勇. 基于人体运动序列的姿态估计与身份识别[D]. 天津大学, 2019
  5. Zakria. 基于深度学习的快速车辆在识别研究[D]. 电子科技大学, 2020
  6. 罗浩. 基于深度学习的行人重识别算法研究:从无遮挡到遮挡[D]. 浙江大学, 2020
  7. 汪琦. 基于细微差异识别与深度学习的车辆重识别研究[D]. 南昌大学, 2021
  8. 李耶. 监控场景下基于深度学习的行人重识别算法及应用系统研究[D]. 电子科技大学, 2017
  9. 宋婉如. 监控视频中的行人重识别关键技术研究[D]. 南京大学, 2016
  10. 刘德成. 几何语义属性信息的异质人脸图像识别算法研究[D]. 西安电子科技大学, 2021
  11. 阚世超. 面向大规模图像检索的度量学习和索引研究[D]. 北京交通大学, 2021
  12. 申爱红. 面向特定目标的识别与追踪[D]. 大连理工大学, 2020
  13. 李娜. 舍饲散养模式下鸡只行为分析与检测关键技术研究[D]. 河北农业大学, 2021
  14. 彭锦佳. 无重叠视域中车辆重识别方法研究[D]. 大连海事大学, 2021
  15. 万超群. 行人重识别不变性特征学习[D]. 中国科学技术大学, 2021
  16. 范星. 智能视频监控中的行人重识别方法研究[D]. 浙江大学, 2020
  17. 郝毅. 智能视频监控中异常事件检测与跨模态行人重识别算法研究[D]. 西安电子科技大学, 2021
  18. Tianyu He, Xin Jin, Xu Shen, Jianqiang Huang, Zhibo Chen, and Xian-Sheng Hua. Dense Interaction Learning for Video-based Person Re-identification[C]. CVPR 2021 Oral.
  19. Yingquan Wang, Pingping Zhang, Shang Gao, Xia Geng, Hu Lu1*, Dong Wang. Pyramid Spatial-Temporal Aggregation for Video-based Person Re-Identification[C]. ICCV 2021.
  20. Abhishek Aich, Meng Zheng, Srikrishna Karanam, Terrence Chen, Amit K. Roy-Chowdhury, and Ziyan Wu. Spatio-Temporal Representation Factorization for Video-based Person Re-Identification[C]. ICCV 2021.
  21. Chanho Eom, Geon Lee, Junghyup Lee, Bumsub Ham. Video-based Person Re-identification with Spatial and Temporal Memory Networks[C]. ICCV 2021.
  22. Yu Wu, Yutian Lin, Xuanyi Dong, Yan Yan, Wanli Ouyang, Yi Yang. Exploit the Unknown Gradually: One-Shot Video-Based Person Re-Identification by Stepwise Learning[C]. CVPR 2018.
  23. Liang Zheng, Zhi Bie, Yifan Sun, Jingdong Wang, Chi Su, Shengjin Wang, and Qi Tian. MARS: A Video Benchmark for Large-Scale Person Re-Identification[C]. ECCV 2016.
  24. DukeMTMC-VideoReID: https://github.com/Yu-Wu/DukeMTMC-VideoReID
  25. Person Re-identification Datasets on Papers with Code: https://paperswithcode.com/datasets?q=Reid&v=lst&o=match
  26. 中华人民共和国监狱法
  27. 监狱服刑人员行为规范[Z]. 司法部规章. 2004年3月19日司法部令第88号发布,自2004年5月1日起施行。
  28. SF/T 0028-2018 智慧监狱 技术规范[S]. 中华人民共和国司法行政行业标准。
  29. “智慧监狱”审核验收办法