Google Video Intelligence 學習筆記

Google Video Intelligence 學習筆記

除了前面所述 Google Cloud vision，透過靜態照片來由Google Cloud Vision AI 來辨識之外，Google另一項影像辨識功能，即透過影片(video) 來進行影像辨識。

在這篇有介紹如何進行Google Video Intelligence 的 快速入門。

在這篇的範例，需要先安裝Google Cloud SDK，再請先安裝。

開啟一個專案

1. 在Google Cloud Platform 內，先建立一個新的專案。
2. 到 API 管理介面，啟用 Google Video Intelligence API
3. 然後在 API 管理介面內，點選「憑證」，建立API 金鑰，它會跳出一個視窗，告訴你在使用此API 時，用 key=API_KEY 來傳送金鑰，所以記得要先把你的API 金鑰剪下來，貼在你的文字檔裡。如下圖：
   

設定授權

在你安裝好 Google Cloud SDK 後，在其目錄下就會有 cloud 這支程式：

1. 建立一個服務帳號，叫 quickstart：

1. gcloud iam service-accounts create quickstart

   
   
2. 建立 service account key file，其中your-project-123 是你剛才建立的專案名稱全名（即加上 - 後面的數字串）:

gcloud iam service-accounts keys create key.json \
--iam-account quickstart@your-project-123.iam.gserviceaccount.com

3. 授權給你的service account，並把你的service account key file 位置傳送過去

gcloud auth activate-service-account --key-file key.json

4. 取得授權，並將它顯示在螢幕上：

5. gcloud auth print-access-token

你會看到程式大概五秒之後會顯示一長串亂碼，那其實就是你的key，也就是上面圖示顯示的那塊。

進行 Video 辨識請求

1. 用文字編輯器，將下列文字copy 到你的文字檔裡，用來產生一個 JSON 要求檔，就叫 request.json。但要記得，將你的檔案copy 到你的 google cloud storage 內。目前google video intelligence 只支援將影片上傳到其google cloud storage 內做辨識，並不支援其他任何方式（如 streaming)。像下面的範例就是在cloud storage 建立一個 video 目錄，再把 chicago.mp4 上傳到這個video 目錄下。

{
   "inputUri":"gs://cloud-ml-sandbox/video/chicago.mp4",
   "features": [
       "LABEL_DETECTION"
   ]
}

2. 利用 curl 指令來產生影像辨識要求 (videos:annotate)，將下方的 ACCESS_TOKEN h利用剛才印出的那一長串亂碼（即access token） 取代，其餘照抄（下面這指令全在同一行內， ＼表連續行）：

curl -s -k -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer ACCESS_TOKEN' \
    'https://videointelligence.googleapis.com/v1beta1/videos:annotate' \
    -d @request.json

Video intelligence API 會產生一個 operation 以處理你的辨識要求。上述指令下完會，會顯示它產生的 operation name:

{
  "name": "us-west-18358601230245040268"
}

3. 這時Google 已經開始在分析你的影片，你可以傳遞operation name 並透過 v1.operations  來取得分析結果：

curl -s -k -H 'Content-Type: application/json' \
    -H 'Authorization: Bearer ACCESS_TOKEN' \
    'https://videointelligence.googleapis.com/v1/operations/OPERATION_NAME'

你會看到Google 回應你分析的結果，如果分析尚未完成，那在 done 這個值會是 false:

{
  "name": "OPERATION_NAME",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.videointelligence.v1beta1.Annota
tionProgressMetadata",
    "progressMetadata": [
      {
        "inputUri": "gs://cloud-ml-sandbox/video/chicago.mp4",
        "progressPercent": 0,
        "startTime": "2016-09-22T21:41:56.766091Z",
        "lastUpdateTime": "2016-09-22T21:42:03.889743Z"
      }
    ]
  },
  "done": false,
  ...
}

在分析完所有資料後，你再下一次上述指令，就可以看到Google Video intelligence 對你的影片做的完整分析內容。其中 description 欄表示它判斷可能的物件名稱，confidence 表信心值，或簡單說，它猜此物件的正確率大約是多少。

結論

基本上Google Video intelligence 可以辨識出的物件仍然有限，尤其影片不清楚時，所以它的信心值都不高。它目前可以做物件分析，臉部分析，標題分析和場景變換的辨認。它可以用來判斷你的影片內出現了那些東西，但無法很精確地辨識出人臉或（誰）出現在影片裡。但Apple 的 照片 程式可以將類似的人臉整合成一個群組，再給人類進行更正確的判斷是否為同一個人。我想，應該要做到這樣的程度才夠吧。而且，影片還要上傳到google storage才能辨識，還不夠方便。不過，Google 也強調，這是beta，還沒算正試的服務，就玩玩看囉。

Google Cloud Vision 學習筆記 2

安裝 Client library

這裡有介紹如何安裝你的語言版本的library

我用的是python，所以在command line 下：

pip install --upgrade google-cloud-vision

就會自動安裝了。

（2017/6/6) 等等，這個架構可以玩玩，但我是想要裝在RPi 上的，可是這個架構並沒有RPi 的 Google Cloud SDK. 只有for X86 linux, macOS 和 windows ⋯⋯ 
（2017/6/7) 找到一個 demo了，原來不一定要用Google Cloud SDK. 用API 就可以了。快來參考這篇。

安裝後，你會發現下面的範例是需要安裝 Google Cloud SDK，依照你的系統（我是用Mac)，下載合適的SDK，再執行它的 install 檔。 然後 執行 gcloud init 來設定你的帳號和預設專案(project)，若需要，可以再開一個 Google compute Engine API。依其範例，應該是用Google Compute Engine 來執行，因為後來我看 API 管理員的主頁，只有 Google Compute Engine API 有流量，Google Cloud Vision API 完全沒流量。
而且，請記得將SDK 安裝在～ 下，我之前放在 virtualenv 或其它目錄，執行gcloud 都會出現問題，搞了我好久。

安裝好 SDK 後，回到 Cloud Vision API Client Libraries 的說明，要再執行認證：

gcloud auth application-default login

這樣就差不多了。
然後 copy 以下檔案到你電腦裡的目錄：

C#

GO

JAVA

NODE.JS

PHP

PYTHON

RUBY

VIEW ON GITHUB FEEDBACK

import ioimport os
# Imports the Google Cloud client library
from google.cloud import vision
# Instantiates a client
vision_client = vision.Client()
# The name of the image file to annotate
file_name = os.path.join(
    os.path.dirname(__file__),
    'resources/wakeupcat.jpg')
# Loads the image into memory
with io.open(file_name, 'rb') as image_file:
    content = image_file.read()
    image = vision_client.image(
        content=content)
# Performs label detection on the image file
labels = image.detect_labels()
print('Labels:')
for label in labels:
    print(label.description)

Read more in the Python API Reference Documentation for the Google Cloud Vision API Client Library.

其中 __file__ 會帶出你目前的檔案路徑，所以你的圖檔要放在你目前路徑下的 resources 目錄裡，至於圖檔名，就隨便你取。

再 執行此python 檔，就可以看到輸出的Json 結果。
基本上就是Google Vision 會判斷你的圖檔內容大概是什麼，可能性的機率有多高等等的。