原文:
Natarajan, Prabhu, Pradeep K. Atrey, and Mohan Kankanhalli. "Multi-camera coordination and control in surveillance systems: A survey." ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM) 11.4 (2015): 57.
这篇论文主要调研了现有的监控系统中多摄像头协同控制(MC3)的一些技术,重点针对架构、方法策略和相关的监控任务进行介绍。
INTRODUCTION
- 监控系统中常用到的摄像头
- pan-tilt-zoom (PTZ), 2010 PTZ摄像头,高分辨率的宽景相机,* 支持全方位(左右/上下)移动及镜头变倍、变焦控制 *
- omni-directional, 2007 全方向摄像头
- smart cameras, 2008 智能摄像头
多摄像头协同控制(MC3)
一种可以让多个异构摄像头:
(1) 捕捉和分析视频
(2) 通过相邻的摄像机节点通信,收集和融合环境的信息
(3) 计算并执行最佳控制措施,以协作方式执行所需的监视任务
的机制。
EVOLUTION
- 物体识别 1985s
- 物体跟踪、宽景相机、遮挡处理 1990s
- 高分辨率、多智能体 2000s
- 协作传感、智能相机系统 2010s
ARCHITECTURES
分布型(Distributed)
通过与相邻的摄像机节点交换信息实现
集中型(Centralized)
主管节点(manager/supervisor node)负责管理下属摄像头节点,任意两个摄像头节点的信息交互都要经过管理员节点才能实现。
混合型(Hybrid)
集中型和分布型的组合,摄像机节点执行低级功能,如目标检测、跟踪和分类,并将结果报告给主管节点。
多层次型(Multi-tier)
混合型的一种变体,顶层中的摄影机节点以分层方式控制底层中的摄影机
STRATEGIES
多智能体系统(Multiagent System,MAS)
一个摄像头就是一个智能体(Agent)
BDI(Belief, Desire, Intention) 知识模型
有助于将高层次的应用目标整合到代理(即摄像机和传感器)中。
Belief:信息,包括自己的和邻居智能体的
Desire:监控目标
Intention:为了目标采取的一系列行为动作
只是架构层面,协作算法还需要细化。
控制理论方法(Control-Theoretic Approach)
用来处理由系统环境、传感器测量和控制器组成的动态系统(dynamic systems)。
引入反馈控制机制(feedback control
mechanism),系统根据自身状态来进行控制,控制器计算被测输出和参考之间的误差,并选择最优控制信号以使误差最小化。在监控系统中不常使用,因为迁移函数复杂,而且不稳定。
决策理论方法(Decision-Theoretic Approach)
监视环境充满了多种不确定因素,如目标的运动、位置、噪声摄像机观测等。基于效用理论(utility theory)和概率论的归纳应用(inductive use of probability theory)的概率模型可以说明这些不确定性
利用:
马尔科夫决策过程(Markov Decision Process, MDP)
部分可观测马尔科夫决策过程(Partially Observable Markov Decision Process ,POMDP)
来控制和协调多个代理。
适用于不确定性,但是大状态空间不易计算
博弈论方法(Game-Theoretic Approach)
是决策理论的一个分支,博弈论主要关注两个或两个以上的主体之间的相互作用,而决策论则是研究主体与环境之间的相互作用。
博弈论模型中的博弈是一个由一组博弈者、博弈者的移动和博弈者的移动组合的目标状态(Utility)构成的数学对象。
是集中式的,当系统复杂时,扩展性较差。
基于市场的方法(Market-Based Approach)
摄像头之间的相互作用采用招投标机制(auction and bidding mechanism)
为了最大限度地利用资源,如电源、处理单位、网络带宽、目标切换等,即这些资源以最佳方式分配给适当的传感器节点,以便利用率最大化。
启发式策略(Heuristic Strategies)
层级的方法(Multi-tier, Layered Approach)
低层执行低层任务,如目标检测跟踪
中间层执行流程管理
顶层执行对监视环境进行高级推理。
特定优化技术(Ad-hoc Optimization Techniques)
主要用于选择和切换摄像头,为行人分配摄像头(指定哪个摄像头追踪哪个行人)等等。
适用于特定任务,不够泛化
主从式手动控制框架(Master-Slave, Manual Control Framework)
静态相机负责监控整体的异常行为,PTZ相机负责以高分辨率对特定异常的人进行进一步监控。
状态机方法(State Machine Approach)
每个摄像头都有不同的状态(搜索、跟踪、等待...),摄像头之间的协调是用一套状态转移规则来指定的,根据不同的摄像头的观察,他们通过有限的状态机来切换状态。
TASKS
Low-level
独立的,每个相机在本地做的任务:
背景扣除和前景检测
斑点检测和分析,特征提取以进行对象检测和分类
摄像头标定
Mid-level
融合多摄像头的数据:
目标检测
目标跟踪
识别/分类
相机选择和移交
视图通信
High-level
目标行为分析
入侵/异常检测
事件检测和分析
人类活动总结
DATASETS AND SIMULATORS
Surveillance Video Datasets
这些数据集的摄像头都是static的,没有PTZ摄像头那样的
Virtual World Simulators
通过电脑模拟出来了,一般不受CV界认可。
OTHERS
[1].Roy-Chowdhury, Amit K., and Bi Song. "Camera networks: The acquisition and analysis of videos over wide areas." Synthesis Lectures on Computer Vision 3.1 (2012): 1-133.
[2].曹凯悦, and 阮秋琦. "大型追踪系统的多摄像头协同." 信号处理 34.4 (2018): 494-502.
提到了Java Agent Development Framework 开源框架