一、大背景

　　据相关数据统计表明，全球数据每两年翻一番，每天产生的数据总量达到20PB。预计2020年，全球数据总量将达到44ZB，而其中超过80%是非结构化数据。繁多的数据种类、PB级的数据量、低价值密度的视频数据、快速的数据更新处理需求等，这些特性都预示着视图数据市场已经进入大数据时代。

　　近年来，随着各地智慧城市建设的广泛开展，汇聚了海量以视频为核心的数据，催生对城市视频、图像、信息等多元数据的分析和应用需求。如何针对海量监控视频数据进行多维感知接入、全网汇聚、存储、智能分析、多维融合碰撞及应用挖掘，成为重要的业务课题。云计算技术和智能算法的长足进步，让针对海量多维数据进行智能化分析成为可能。

　　随着科技的发展和城市管理者对视频应用需求的不断提出，针对视频图像数据的多维大数据融合应用关键技术也在经历革新。

　　（一）非结构化数据分析处理

　　在安防行业中，视频图像等非结构化数据占到数据总量的95%以上。因为传统产品的功能和处理能力限制，客户不得不满足于视频、图片全量浏览查看，耗时费力。目前，视频浓缩摘要、图片二次处理等新技术层出不穷且日渐成熟，逐步支撑起非结构化数据的分析处理需求。客户希望能获取视频图像中的高价值结构化信息，进行汇聚后可快速查询、深度挖掘。为了实现客户的新需求，需要优化甚至重新设计现有非结构化数据分析工具，提高其在各种新业务场景下的适应性。

　　（二）云计算技术

　　进入大数据时代以来，对数据处理的实时性和吞吐量的要求都在不断提升。以卡口系统为例，支持日过车500W已经成为基本要求，日过车2000W的城市也不在少数。同时，客户对于搜索、布控的实时性要求也越来越高，这就使得系统单位时间内需要处理的数据量急剧增加。而对于视频等非结构化数据的处理，客户已经不满足于单纯单机烟囱式建设的传统系统，而是要求对单个文件也有极致的处理性能，并且能支持Scale-out方式按需提高性能，高可靠、高可用。云计算具有天生的高容错能力，并且Spark、Hadoop等并行计算框架可以充分利用集群所有服务器的性能，将多台设备的计算资源虚拟化，对外提供统一的服务接口。因此，云计算技术是大数据时代非结构化数据分析的不二选择。

　　（三）多维大数据融合应用

　　两年前，一些大的厂家可以使用丰富的平台功能来进行重大项目的控标，使得其他厂家无法加入项目的竞争。但现在大多数厂家都已经具备了这些功能，已经不足以成为控标点。下一步要想在项目中取得领先，各厂家就必须要有多维大数据存储计算的基础平台和完备的端到端解决方案。

　　多维大数据时代，信息流通和共享是关键，多维数据在被使用的过程中才能体现出它的价值。对于海量非结构化数据及多种物联感知数据来说，极速的数据存取系统和开放的结构化处理系统，才能支持后续多维数据碰撞挖掘，保证其价值的最大化。

　　各级公安机关在信息化建设和应用过程中，积累了海量的视频图像数据资源。随着视频图像数据资源的规模越来越庞大、增速迅猛以及各类物联感知系统(车辆卡口、电警、人脸卡口、mac采集、rfid采集)的接入，为公安信息资源的管理和应用带来了巨大挑战。因此，需要进一步深化多维数据信息应用，提升实战应用效能，持续完善立体化社会治安防控体系，不断提升平安城市建设能力和水平。

　　（一）百万级视频接入联网共享已成趋势

　　当前城市公共安全管理中，尤其是公安、应急等政府职能部门在城市管理和执法时，都需要浏览、调用、查询和控制相应区域位置的视频图像资源。因此，在公共安全视频监控建设中，要实现视频资源共享，满足公安部门业务需要，实现对视频监控图像实时监看、录像回放，为公安机关开展警务指挥调度、侦查办案和社会治安管理提供重要信息，还包括重点区域和警卫路线的安全保障与警卫、信访维稳领域的监控。此外，还需要满足政府部门的应用需求，并与政府原有图像信息资源共享平台对接进行视频共享。

　　通过相应的共享机制，系统需要满足为全市各政府职能部门、行业条线、企业单位、社会公众提供视频图像资源联网共享、基础应用和高级应用的支撑，以及视频的管理和运维功能。实现对各类共享用户的统一门户登录和统一授权管理，建立设备的类型、权属和功能的三相关系模型，建立用户的组织、角色和权限的三相关系模型；建立专业运维队伍和运维管理系统，实现平台系统运行状态监测，也可接收下级平台提供的系统设备、网络、软件运行状态和视频质量监测数据等信息，进行量化考核。

　　（二）大数据应用市场需求日趋旺盛

　　客户对视频图像的使用需求已经不满足于简单的浏览查看，而是希望可以从海量数据中挖掘分析得到更高价值的信息。例如，可以从景区实时视频摘要的数据中统计得到各地周末及节假日的人流量、车流量，以告知旅客各个景点的热度、交通拥堵情况，帮助其安排出行；可以根据卡口监控的视频数据统计分析交通拥堵实时情况及历史规律，帮助交警做疏导或管制，有备无患；可以根据各种数据模型检测河流湖泊的水质和生态系统情况，及时预警，帮助生态研究；可以建立面向大学的教室监控系统，智能统计到课率，帮助学校改进教学质量；可以面向监狱，进行实时行为检测，判断是否有异常人员并及时报警等。

　　基于云计算的海量非结构化处理技术在旅游、环保、教育、安防等各个行业的大数据应用得以实现，创造大量全新的细分市场。

　　（三）公安警务对多维智能化应用提出更高要求

　　如何运用海量的视频图像数据为情报、刑侦、治安、技侦等不同警种提供更加丰富和实用的视频应用服务，从“事后被动侦查”到“事前主动预警”是公安机关业务发展的核心需求。因此，公安部门迫切需要对视频资源和卡口价值图片进行深度的特征结构化分析，提取有价值的线索，以此提高公安机关的破案效率，达到向科技要警力的目的。

　　多维大数据融合应用是通过前端感知设备采集各类时空数据。此外，还可以利用视频结构化技术提取视频中的人、车等信息，把这些信息与安防业务系统中的警务数据相结合，不断深入挖掘数据深层次价值，构建一张“多维智能感知防控网络”，打通数据壁垒，服务全警应用。

　　多维大数据融合应用是基于云存储、云计算技术，结合安防行业特点和需求，整合新一代非结构化数据智能化处理技术，通过自主创新方式研发制定的。其优秀的创新特性可以提升安防监控行业的核心竞争力，也是为行业发展做了一次有益的探索，从而加快安防新技术的发展。

　　对很多行业来说，多维大数据融合应用都会使业务模式发生彻底变革和性能规模出现巨大飞跃。然而，每个行业对于海量数据的存储、计算、碰撞、挖掘都有不同的需求，当多维数据深入每个行业进化融合，才体现出它真正的价值。

　　视频监控系统是一个比较复杂的工业级产品，要求全天候稳定运行，能够完全在线扩容；同时，海量非结构化数据的价值密度比较低，无法按照IT系统数据做多副本保存；安防行业涉及大量人、车信息记录，在实时录入数据的情况下要求极速分析搜索，等等。这些要求都促使我们深入研究多维大数据融合应用与安防业务的结合点，从而为后续深度智能化应用提供更多价值数据。

　　（供稿：沃晶晶 李志荣 浙江大华技术股份有限公司）