当前位置: 首页 > 技术动态
  • 安防大数据技术难点分析与解决方案

  • 2015-04-21 03:33 来源:CPS中安网 关键字:安防,大数据,技术,难点 浏览量:57
  • 导读: 伴随着大数据技术在IT领域的持续发展与成熟,大数据逐步渗透到各行各业。在安防领域,大数据具有广阔的应用场景,带来深度的价值。经过初步摸索,安防大数据也面临一些技术难点。
  • 伴随着大数据技术在IT领域的持续发展与成熟,大数据逐步渗透到各行各业。在安防领域,大数据具有广阔的应用场景,带来深度的价值。经过初步摸索,安防大数据也面临一些技术难点。对于这些问题,我们分析安防行业特有的场景特点,探讨一些贴切的解决方案,使得大数据技术更好地为安防业服务。

    大数据当前在各行业的应用

    大数据技术发端于IT领域,当前在互联网、电子商务中应用得最为成熟。Google公司根据用户海量的搜索日志,成功预测病情在北美的蔓延情况;通过分析处理大量的语料库,为用户提供精准的在线翻译。亚马逊根据用户过往的购买行为,分析出特定用户群的购买“口味”,从而在自己的网站中提供精准的广告推荐。而国内的淘宝网,通过分析网民浏览商品的日志,给买家提供到特定商品的关联匹配。

    在其他行业,大数据的使用也屡见不鲜:

    在卫生行业,基于全民的电子档案与电子病历库正在构建。通过全民电子病历库,我们能分析全民的健康状况,监控相关疾病的蔓延走势,为做好卫生防范措施提供参考。

    在电力行业,通过分析大区域的用电记录,能够优化电力企业管理模式,提升企业经营水平,为基建决策提供有力参考,提高智能控制水平,加强电力的协同管理。同样对于整个国家,通过分析用电情况,在宏观掌握国家的经济状况,为制定经济政策提供参考。

    在物流行业,通过分析大量以往的配送记录,在宏观上掌握大类物品的流向,提前把物品运送到特定区域,提高送货效率。在国外,一家大型的超市,通过分析交通与商品大体流向,能在精确的时间范围内,把特定类商品送到特定的门店,减少库存时间,提高周转率,创造企业利润。

    同样,在安防领域,大数据也得到广泛使用。

    大数据助力安防行业

    经过一段时间的摸索,大数据助力安防行业的发展取得相当的成效,部分企业如海康威视等已经有了较多的成熟项目案例。

    在智慧交通方面,海康威视借助大数据技术,交通管理系统能够在恶劣的网络环境,对城区交通要道进行拍摄与录制,同时把图片与视频数据输往后端的大数据处理平台。通过后端大数据处理,识别繁忙的路段,提前做好交通分流措施。借助车牌识别技术,综合各卡口的过车记录,能够分析特定车辆的运行轨迹。同样,通过对大量行车违法记录的模式识别,能在特定路段对具有违规倾向的车辆进行报警,比如在高架桥,高速公路上。通过对城市周边主要卡口大量的行车记录分析,能识别出异常的进出城的记录,做好防范措施。

    在公安执法方面,海康威视通过人脸识别技术,提高对犯罪嫌疑人追查的效率。通过对大量异常行为的模式特征提取,能提前判别违法行为,比如在火车站,通过对扒手外观打扮,行为举止,作案时的动作特征分析,能够提前把嫌疑信息告知车站治安人员,提高执法的效率。

    在平安城市、智能家居,方方面面,安防大数据也引领很多新奇的应用。

    然而,伴随着大数据在安防领域越来越深入的应用,也突现出一些技术难点。在IT领域,大数据技术发展较为成熟,针对不同的应用场景有较为丰富的技术选型以及技术路线,其中很多技术可以移植应用到安防领域中。但IT与安防毕竟是两个不同的领域,两者之间存在很多不一样的地方。最大的不同,就是数据本身的不同,主要体现在一下方面:

    数据类型不同。在IT领域,大数据处理的对象往往是网页索引、用户行为、日志记录等字符型数据,这些是结构化、方便计算识别处理的数据。而在安防领域,数据往往以图片、音频、视频等非结构化的数据,往往计算机不能直接识别,这些数据只有在人面前才显得有意义。

    数据量在数量级上的不同。在互联网领域,单条日志记录一般在一百字节之内,到了1PB的日志记录,已经是一个足够大的量。但在安防领域,一张普通的缩略图就几百KB,如果考虑高清摄像,高清视频,这个数量要更大。一个普通的中等城市,在主要交通卡口拍摄的图片,一年下来就能积压几个PB的数据,如果考虑视频,这个数据量更大。

    对数据的实时性要求不同。在互联网行业,以日志型数据分析为主的典型应用中,对实时性要求没那么高,比如淘宝的推荐系统,是否分析最近一个小时用户的浏览记录对于推荐效果关系不大。而在安防领域,前端摄像头录制的都是实时流,这是一个不间断的数据流,最近录制的数据超过一定时间没有得到有效保存,将会永远被丢失。

    针对安防领域与IT领域在数据本身上的异同,把适合IT领域常规的大数据技术搬到安防领域就会碰到一些技术难点,表现如下:

    存储成本问题。在IT领域,海量的数据往往保存在分布式存储系统中,为了提高数据的可靠性,一份数据往往复制成几份相同的副本,分别保存在不同的节点中,当其中一些副本丢失时,可以从其他节点读出数据。比如在Hadoop中,一份数据往往在集群中保存了相同的3份。如果有1PB的原始数据,则至少要占用3PB的磁盘空间。而在安防领域,几个交通卡口的视频,在一个较短的时间内,如果不覆盖之前的数据,就能轻易积压几个PB。由于图像、音频、视频数据本身的量太大,生搬传统的多副本策略成本过高,我们需要设计出一些更高效同时不损失可用性的方案。

    小文件存储问题。这个问题是大数据技术面临的一个共性问题,但在安防领域可能又突现得较为严重。在互联网,小文本、图片、音乐都是小文件,当层积较多时,都面临如何存取这些海量小文件的问题。而在安防行业,小文件主要以图片为主,比如一个城市的主要交通卡口在一年内,就能产生百亿张图片。对于这些海量的小文件的存储,涉及到大量元数据的管理,保证存取的性能是问题的关键。

    当然,问题并不可怕,通过分析研究安防应用场景,我们摸索出一些贴合安防大数据的解决方案。

    结语

    随着大数据技术的逐步发展与深入应用,它会给我们带来越来越多的潜在价值。当安防行业进入就计算化时代后,各种前端设备采集大量的图片、音频、视频,这个数据在一个较小的区域一个较短的时间内,就能积攒海量的数据,要掌握并且成功挖掘出这些数据的价值,更好的为安防服务,急需我们掌握大数据技术。目前,安防行业仅有海康威视等极个别企业掌握了该项技术。

    由于安防行业和IT互联网行业存在差异,我们在借鉴互联网大数据技术的同时,也要深入研究我们的安防场景,探索一些贴切安防应用的大数据技术。安防大数据第一阶段要解决安防大数据的存储问题,当解决好存储问题后,我们进入到安防大数据分析处理阶段,当我们具备娴熟的分析处理技术后,可以进入深度学习,多维数据挖掘的深入应用。这一路还很漫长,我们慢慢探索,精益求精,一定能让安防大数据更好的服务安防业,保证我们的幸福安康。