原文:
Natarajan, Prabhu, Pradeep K. Atrey, and Mohan Kankanhalli. "Multi-camera coordination and control in surveillance systems: A survey." ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM) 11.4 (2015): 57.

这篇论文主要调研了现有的监控系统中多摄像头协同控制(MC3)的一些技术,重点针对架构、方法策略和相关的监控任务进行介绍。

INTRODUCTION

  • 监控系统中常用到的摄像头

    • pan-tilt-zoom (PTZ), 2010 PTZ摄像头,高分辨率的宽景相机,* 支持全方位(左右/上下)移动及镜头变倍、变焦控制 *
    • omni-directional, 2007 全方向摄像头
    • smart cameras, 2008 智能摄像头
  • 多摄像头协同控制(MC3)

    一种可以让多个异构摄像头:

    (1) 捕捉和分析视频

    (2) 通过相邻的摄像机节点通信,收集和融合环境的信息

    (3) 计算并执行最佳控制措施,以协作方式执行所需的监视任务

    的机制。

EVOLUTION

  • 物体识别 1985s
  • 物体跟踪、宽景相机、遮挡处理 1990s
  • 高分辨率、多智能体 2000s
  • 协作传感、智能相机系统 2010s

ARCHITECTURES

  • 分布型(Distributed)

    通过与相邻的摄像机节点交换信息实现

  • 集中型(Centralized)

    主管节点(manager/supervisor node)负责管理下属摄像头节点,任意两个摄像头节点的信息交互都要经过管理员节点才能实现。

  • 混合型(Hybrid)

    集中型和分布型的组合,摄像机节点执行低级功能,如目标检测、跟踪和分类,并将结果报告给主管节点。

  • 多层次型(Multi-tier)

    混合型的一种变体,顶层中的摄影机节点以分层方式控制底层中的摄影机

Multi-Camera Coordination and Control in Surveillance Systems: A Survey 阅读笔记-LMLPHP

STRATEGIES

  • 多智能体系统(Multiagent System,MAS)

    一个摄像头就是一个智能体(Agent)

    • BDI(Belief, Desire, Intention) 知识模型

      有助于将高层次的应用目标整合到代理(即摄像机和传感器)中。

      Belief:信息,包括自己的和邻居智能体的

      Desire:监控目标

      Intention:为了目标采取的一系列行为动作

    只是架构层面,协作算法还需要细化。

  • 控制理论方法(Control-Theoretic Approach)

    用来处理由系统环境、传感器测量和控制器组成的动态系统(dynamic systems)。

    引入反馈控制机制(feedback control
    mechanism),系统根据自身状态来进行控制,控制器计算被测输出和参考之间的误差,并选择最优控制信号以使误差最小化。

    在监控系统中不常使用,因为迁移函数复杂,而且不稳定。

  • 决策理论方法(Decision-Theoretic Approach)

    监视环境充满了多种不确定因素,如目标的运动、位置、噪声摄像机观测等。基于效用理论(utility theory)和概率论的归纳应用(inductive use of probability theory)的概率模型可以说明这些不确定性

    利用:

    • 马尔科夫决策过程(Markov Decision Process, MDP)

    • 部分可观测马尔科夫决策过程(Partially Observable Markov Decision Process ,POMDP)

    来控制和协调多个代理。

    适用于不确定性,但是大状态空间不易计算

  • 博弈论方法(Game-Theoretic Approach)

    是决策理论的一个分支,博弈论主要关注两个或两个以上的主体之间的相互作用,而决策论则是研究主体与环境之间的相互作用。

    博弈论模型中的博弈是一个由一组博弈者博弈者的移动博弈者的移动组合的目标状态(Utility)构成的数学对象。

    是集中式的,当系统复杂时,扩展性较差。

  • 基于市场的方法(Market-Based Approach)

    摄像头之间的相互作用采用招投标机制(auction and bidding mechanism)

    为了最大限度地利用资源,如电源、处理单位、网络带宽、目标切换等,即这些资源以最佳方式分配给适当的传感器节点,以便利用率最大化。

  • 启发式策略(Heuristic Strategies)

    • 层级的方法(Multi-tier, Layered Approach)

      低层执行低层任务,如目标检测跟踪

      中间层执行流程管理

      顶层执行对监视环境进行高级推理。

    • 特定优化技术(Ad-hoc Optimization Techniques)

      主要用于选择和切换摄像头,为行人分配摄像头(指定哪个摄像头追踪哪个行人)等等。

      适用于特定任务,不够泛化

    • 主从式手动控制框架(Master-Slave, Manual Control Framework)

      静态相机负责监控整体的异常行为,PTZ相机负责以高分辨率对特定异常的人进行进一步监控。

    • 状态机方法(State Machine Approach)

      每个摄像头都有不同的状态(搜索、跟踪、等待...),摄像头之间的协调是用一套状态转移规则来指定的,根据不同的摄像头的观察,他们通过有限的状态机来切换状态。

TASKS

  • Low-level

    独立的,每个相机在本地做的任务:

    背景扣除和前景检测

    斑点检测和分析,特征提取以进行对象检测和分类

    摄像头标定

  • Mid-level

    融合多摄像头的数据:

    目标检测

    目标跟踪

    识别/分类

    相机选择和移交

    视图通信

  • High-level

    目标行为分析

    入侵/异常检测

    事件检测和分析

    人类活动总结

DATASETS AND SIMULATORS

  • Surveillance Video Datasets

    这些数据集的摄像头都是static的,没有PTZ摄像头那样的

  • Virtual World Simulators

    通过电脑模拟出来了,一般不受CV界认可。

OTHERS

[1].Roy-Chowdhury, Amit K., and Bi Song. "Camera networks: The acquisition and analysis of videos over wide areas." Synthesis Lectures on Computer Vision 3.1 (2012): 1-133.

[2].曹凯悦, and 阮秋琦. "大型追踪系统的多摄像头协同." 信号处理 34.4 (2018): 494-502.

提到了Java Agent Development Framework 开源框架

05-11 22:16