“对视频的智能了解是人工智能的最大战场。”说出这一观念的上海交通大学教授倪冰冰坦言这一说法“不会有多少人有对立定见”。作为深耕核算机视觉中智能视频剖析的专家，他乃至乐意称之为人工智能的“体量之最”。

　　这一称号不无道理。在近来举行的全球科技青年论坛上，倪冰冰将其间的“简略道理”娓娓道来，“人类每天接触到的听说读写信息里有70%实践上是视觉信息。而在信息范畴，大多数的信息也是视频图片数据。”

　　“全世界每秒钟传到Youtube的视频要到达几千个小时。”倪冰冰表明，即便运用现在盛行的神经网络、深度学习技能，加上高功用硬件设备，核算时刻之久也超乎幻想。

　　“视频一向被视为核算机视觉里的暗物质。”谷歌云人工智能和机器学习前首席科学家李飞飞曾如是说。即便如此，科学家及互联网公司对视频智能了解技能的“降服欲”也没有减退之意，纷繁投入巨大的财力物力人力去攻坚克难，IBM、谷歌都曾为视频智能了解的深入研讨发布视频数据集，脸书CEO扎克伯格在最新一季财报剖析师交流会上泄漏，视频辨认已成为旗下视频在线产品、VR产品的中心竞争力之一。

　　因何具有如此动力？倪冰冰画龙点睛其间缘由：智能视频了解技能在安防监控、自动驾驶，以及在交际媒体短视频、直播里，都是最中心的技能。

　　而跟着视频在人们日子中所占的重量越来越重，视频智能了解技能有了越来越深沉的实践根底。经过曩昔数年的尽力，视频智能了解研讨范畴已经有了一些打破式发展，变得更具有实践使用价值。

　　翻开一些视频网站，用户常常可以看到与本身前史阅读痕迹相关的视频引荐，或许“以视频查找视频”的内容查找功用，这其间首要涉及到的技能其实便是视频的行为辨认。浅显而言，便是给正在运转的程序一段视频，让它告知你“里边发生了什么”。

　　辨认智能了解技能的研制进程并不像描绘起来这么简略，其面对的技能应战巨大。除了视频体量，视频的质量、视频内容中有用信息的数量也都是很大的技能难题。

　　以安防范畴的视频数据为例，倪冰冰解释道，摄像头的视频质量有时候比较差，人动一下会有些含糊，使得技能对所捕捉到的动作的了解变得十分困难；别的，不同的人做相同动作的款式十分不同，“有人快有人慢”，这也构成智能了解的难点；不同方位的物体在视频中的标准相异，要把“大的东西、小的东西”一起“抓”出来是很有难度的。

　　倪冰冰地点的团队提出了时序金字塔算法，该算法经过对时刻轴进行分标准建模，使不同标准的数据特征都能得到很好的表达。

　　“咱们又合作盛行的深度学习里的LSTM（长短期回忆网络）、深度递归网络，使得不同标准的信息在不一起刻进行活动，最终到达很好的辨认作用。”倪冰冰进一步阐释道。

　　这一研讨在由谷歌、斯坦福等世界顶尖人工智能研讨机构主办的THUMOS行为检测世界比赛中，获得视频检测小组世界第一名。

　　“找人”是了解视频中行为的关键地点。在核算机视觉范畴中，“找人”行为的专业术语叫做“行人重辨认”，专指使用核算机视觉技能判别图画或许视频序列中是否存在特定行人的技能。

　　而在人工智能产业化的进程中，“找人”也恰恰是视频智能了解可以快速投入的使用场景的形象描绘。倪冰冰叙述道，“假如咱们能把人和人在不同摄像头下的印象追寻起来的话，就可以得到这个人在整个时刻轴和空间轴上的散布，这可以完成许多的使用，比方找到一些十分灵敏的人物。”

　　曩昔，倪冰冰团队在进行视频行为里的行人重辨认时，一般使用单帧信息，比方在某个时刻点上选一帧图画与周围的其他帧图画进行比对，但这样的做法存在必定的问题。

　　“咱们发现单帧图画的信息是丢掉的，摄像头所拍照的是行为人整个动的进程，获得单帧的话，整个动的行为就丢失掉了。”倪冰冰说。

　　别的，使用单帧图片信息很有可能会遇到一些特别姿态、遮挡、运动的含糊等问题。对此，倪冰冰团队提出的一个办法使得辨认技能可以对整个视频进行时序上的个人信息加以汇总，构成定量表征，从而使行人重辨认的功用到达最优。

　　根据多角度摄像机的3D定位盯梢模块是当时业界比较新的技能。倪冰冰表明，曩昔，单个相机对人在2D场景进行定位，现在，技能可以在相机和相机之间构成匹配，用重辨认以及盯梢技能可以在3D空间里对人进行追寻，对人的动态进程进行画像。

　　“这些技能产生了许多使用，新零售、智能零售体系便是很好的比方。”倪冰冰骄傲地说道，“新零售里，无非是有多少人进入我的商铺、多少男生多少女生、什么年龄段、他们在哪个产品面前停留了多少时刻，这些经过技能都可以处理。”

　　倪冰冰表明，抓到这些数据之后，可以反映在大数据端，有了客流剖析、轨道、略读图的数据，店家就可以对行销打开布局，对行销战略做必定的改动和优化。

　　“用深度学习网络进行视频智能剖析所需的网络是很大的，它的参数量十分多，乃至超越几十、几百兆。”倪冰冰表明，以这样大的网络去做视频剖析，明显运用时刻是十分久的，但新一代人工智能期望许多智能的作业在端进步行，比方手机、平板电脑等，而如此大的模型明显无法在一个小的运算设备进步行运算。

　　针对这个问题，倪冰冰团队对网络进行了二值残差定量的简化，使得曩昔用浮点数表达的网络，用现在的二进制数据网络来表达，这使得整合各个模型的进程变得简略，核算变得愈加高效。

　　“有了这个技能之后，实践上，许多本来必定要在云上、在服务端去做的一些人脸辨认功用，现在可以在很小的手机进步行。”倪冰冰表明，“智能刷脸闸机、智能访客机以及智能门禁等有了这个网络紧缩技能，都能在小型设备上运转。”

　　倪冰冰以为，对一个公司团队来说，从算法到技能落地还有很长的路要走，“这儿边相当多的功夫用在了工程化的落地上”。对此，其团队提出的人、物检测的算法也做了工程化的尽力。

　　“现在对人的定位有轻量级的人脸检测模块，这样，一个几兆的小模块可以在手机里运转；也有轻量级的人体骨骼检测模块，实践便是捉住人的一个动作，曩昔它是一个体量十分大的核算，现在，经过一些新算法和工程实践可以把它做到很小的手机模块上，并且可以到达实时运转的作用。”倪冰冰表明。

　　“定位了人今后要进行辨认，现在在小设备上，人脸辨认也能做到在百万底库下95%以上的经过率，这是十分难的一个进程。”倪冰冰说。