谷歌發(fā)布云視頻智能API，要給計算機視覺“黑暗物質光芒”
隨著移動視頻應用的推動，手機直播、VR、AR視頻、直播互動等實時視頻系統(tǒng)應用越來越廣，基于視頻營銷、視頻巡檢、視頻協(xié)助等應用在企業(yè)、娛樂、教育等市場普遍應用。但我們看到基于視頻內容的分析還發(fā)展滯后，谷歌發(fā)布的云視頻智能API給我們帶來新的機遇，視頻不僅僅是發(fā)布出來和觀看的價值，還能夠用于智能分析，基于內容挖掘價值，將成為未來新的發(fā)展機遇。
Google Cloud Next' 17大會上，谷歌負責人工智能和機器學習研究的負責人李飛飛女士，介紹了谷歌人工智能研究的新成果，以及可以供外部開發(fā)者利用的新接口等，發(fā)布了新的機器學習API：Video Intelligence API，可以自動識別視頻中的物體，讓視頻實現(xiàn)可搜索。
李飛飛稱，視頻一直被視為計算機視覺里面的“暗物質”，無非像圖片一樣實現(xiàn)便捷的搜索，但新的API可以幫助開發(fā)者開發(fā)出從視頻中讀取實體的應用。
在Google Video Intelligence演示中，視頻API可實現(xiàn)搜索棒球、狗這樣的實體，并標出在視頻中出現(xiàn)的位置，從而得到物體在視頻中出現(xiàn)的頻率。除了提取數據，API還允許在對變換的場景打標簽。
隨著移動視頻應用的推動，手機直播、VR、AR視頻、直播互動等實時視頻系統(tǒng)應用越來越廣，基于視頻營銷、視頻巡檢、視頻協(xié)助等應用在企業(yè)、娛樂、教育等市場普遍應用。但我們看到基于視頻內容的分析還發(fā)展滯后，谷歌發(fā)布的云視頻智能API給我們帶來新的機遇，視頻不僅僅是發(fā)布出來和觀看的價值，還能夠用于智能分析，基于內容挖掘價值，將成為未來新的發(fā)展機遇。
Google Cloud Next' 17大會上，谷歌負責人工智能和機器學習研究的負責人李飛飛女士，介紹了谷歌人工智能研究的新成果，以及可以供外部開發(fā)者利用的新接口等，發(fā)布了新的機器學習API：Video Intelligence API，可以自動識別視頻中的物體，讓視頻實現(xiàn)可搜索。
李飛飛稱，視頻一直被視為計算機視覺里面的“暗物質”，無非像圖片一樣實現(xiàn)便捷的搜索，但新的API可以幫助開發(fā)者開發(fā)出從視頻中讀取實體的應用。
在Googl Cloud Video Intelligence API 演示中，視頻API可實現(xiàn)搜索棒球、狗這樣的實體，并標出在視頻中出現(xiàn)的位置，從而得到物體在視頻中出現(xiàn)的頻率。除了提取數據，API還允許在對變換的場景打標簽。
演示視頻：http://app-zbk.zhiboyun.com:8008/videos/12
在谷歌云官網視頻內容智能識別頻道，我們可以看到：
強大視頻分析能力
谷歌云視頻智能API提供REST API，通過提取視頻特征數聚，能夠進行視頻內容搜索和分析。通過這些API方法，能夠幫助用戶識別主要的物體對象，分離音頻信號，截取每幀視頻截圖。
獲取視頻傳達信息
云視頻智能API讓開發(fā)者在不需要機器學習和計算機視覺知識的前提下， 從視頻中提取動作信息。云視頻智能API通過不斷改善算法，新的概念引入，讓算法更精確。
快速檢索視頻目錄
云視頻智能API幫助用戶基于各種對象名稱檢測視頻，了解個人視頻目錄內容，在每個視頻上打上可理解的視頻標簽，就像搜索文本文件一樣簡單。
從噪音中分離信號
使用云視頻智能API， 可以識別隱藏在聲音噪音中的商業(yè)信息，或者在一段視頻、截圖、幀數據中檢測出符合某種特征的實體。
在谷歌云官方網址上，https://cloud.google.com/video-intelligence/#demo 我們可以看到多組介紹和演示 “視頻智能API”的例子。
通過這一技術，谷歌能夠識別視頻當中的各種動物、物體、風景等內容，識別視頻場景的變化。
DEMO-1 ，Style Detection
視頻標簽： 在整個視頻中檢測實體，例如狗、花朵、人等
Video Labels：Detect objects, such as dog, flower, human, in the entire video.
(識別視頻中戴眼鏡的場景比例)
（識別出場景變化，藝術、學校、學習等關鍵場景及比例）
（谷歌云視頻智能API 程序編寫）
Google Cloud Video Intelligence API DEMO ，Style Detection，Video URL：
http://app-zbk.zhiboyun.com:8008/videos/13
DEMO-2， Vision API
谷歌云視頻智能API 說明，例子講解概念和工作方式，舉例如何識別人臉、識別車輛等場景。
（Google Cloud Video Intelligence API DEMO，識別出卡通、圖形、設計等場景和比例 ）
（Google Cloud Video Intelligence API DEMO ,識別出車輛，玩具等場景和比例）
（Google Cloud Video Intelligence API DEMO ）
Google Cloud Video Intelligence API DEMO ，Style Detection，Video URL：
http://app-zbk.zhiboyun.com:8008/videos/15
Demo 3， Volleyball Court
（Google Cloud Video Intelligence API DEMO，調用代碼 ）
Google Cloud Video Intelligence API，工作過程WEB 頁面視頻：
http://app-zbk.zhiboyun.com:8008/videos/11
還有一個在近期Google 對外提供演示的例子， 動物園老虎的例子視頻智能識別。
（Google Cloud Video Intelligence API DEMO，對動物園場景視頻智能識別數據展示 ）
VIDEO URL 視頻地址： http://app-zbk.zhiboyun.com:8008/videos/10
從功能上，這些識別技術和過去的圖像識別、人臉識別存在相似之處，不過谷歌已經把識別提升到了視頻的新領域。
目前，視頻識別依然是一個新技術。許多互聯(lián)網公司無法識別視頻內容，要求用戶在上傳時提供諸多的標簽，從而利用標簽作為搜索依據。
過去，谷歌已經把許多機器學習的技術及時變成了軟件開發(fā)接口，讓開發(fā)者應用到自己的軟件產品中。據悉，谷歌也正在把上述的視頻內容識別變成接口，對外開放。
視頻識別將具有重大的應用場景，比如在安全、打擊恐怖主義等領域，政府或者警方可以對視頻畫面進行實時的監(jiān)控和分析，快速抓捕恐怖分子。
經讓互聯(lián)網進入了網絡視頻時代，短視頻、視頻直播、手機直播、直播互動等新應用不斷出現(xiàn)，但是與此同時，視頻搜索的長期落后，成為行業(yè)的一個短板。不少消費者已經發(fā)現(xiàn)，在一些搜索引擎的視頻搜索服務中，出現(xiàn)了準確率太低的現(xiàn)象，主要原因是搜索企業(yè)對于視頻內容完全無法識別，他們只能根據視頻周邊的文字內容、視頻標題等附加信息進行搜索，這導致差錯率大大提高，也影響了用戶發(fā)現(xiàn)更多精彩的視頻內容。
值得一提的是，在人工智能、機器學習和圖像識別方面，谷歌和Facebook展開了一場軍備競賽。在去年的一次開發(fā)大會上，Facebook相關團隊負責人也曾經表示，Facebook已經具備了成熟的圖像識別技術，目前正在進行視頻識別的研究，希望能夠盡早識別出視頻中的人臉，方便搜索好友之間發(fā)送的大量視頻。
除了視頻API，李飛飛還表示Google的機器學習引擎ML Engine會向更廣泛的用戶提供。該引擎可以使用TensoFlow框架開發(fā)機器學習模型。
她還在演講中提到，希望能讓AI實現(xiàn)民主化，讓更多人享受到AI的便利。
參考鏈接：
- Announcing Google Cloud Video Intelligence API, and more Cloud Machine Learning updates ， Wednesday, March 8, 2017