いまMLKitカスタムモデル（TF Lite）は使えるのか

2018/12/23
このエントリーをはてなブックマークに追加

この記事はTensorFlow Advent Calendar 2018の23日目がぽっかり空いたので、ねじ込む予定が別の方が滑り込んでしまったので、作成した記事が宙に浮いてしまい、空いていた22日に今日が23日にもかかわらず押し込んだ記事です。
つまりTF Advent Calendar2018の22日目の記事です。
ビデオ判定が導入された昨今のスポーツ界では完全にアウトなやつですが、まぁいいよね。

おはこんばんちわ、カブク合宿ブログ担当<sup>1</sup>の足立です。

先日、Google Developers ML Summitというイベントで「モバイル開発者の為のTensorFlow」という発表をさせていただきました。


発表資料

TensorFlowをエッジ環境で動作させるTensorFlow Lite（以下TF Lite）の仕組みとその実装方法が主な説明です。
TF Liteの仕組み（量子化などの最適化を含む）により機械学習モデルを削減でき、性能も向上させられるという内容です。

この資料ではオフィシャルで公開されているデータを元に説明しましたが、エンジニアにとって大事なのは実際のデータ。
ということで、現時点（2018年末）でのモバイル端末で、TF Liteがどれぐらい使い物になるのかを検証してみました。

より実践的な評価となるよう、Google Cloud NEXT '18 San FranciscoのAI in motion<sup>3</sup>というロボットゲーム展示で使ったObject Detectionを活用したAndroidアプリで評価します。

評価環境

端末

「まえ」と比較することで「いま使えるのか」を評価します。
+ Google Pixel2<sup>2</sup>: Qualcomm Snapdragon 835 / Adreno 540 / Hexagon 682
+ Google Pixel3: Qualcomm Snapdragon 845 / Adreno 630 / Hexagon 685
※いずのOSもAndroid 9.0

評価プログラム

  • 機械学習モデル: MoblieNet_V2_1.0_224のObject Detection
    ※INT8で量子化しています
  • SDK
    • AAR: TensorFlow Lite AAR
    • MLKit: Firebase ML Model Interpreter 15.0
      ※MLKitはカスタムモデル（TF Lite）をローカルに配置して実行

AARの評価方法は以下の通り。

long start = System.currentTimeMillis();
tflite.runForMultipleInputsOutputs(inputs, outputs);
long end = Systen.currentTimeMillis();
Log.d(TAG, (end - start));

MLKitは以下のようにして評価。

long start = System.currentTimeMillis();
mInterpreter.run(inputs, options)
    .addOnSuccessListener(
        new OnSuccessListener<>() {
            public void onSuccess(FirebaseModelOutputs result) {
                long end = Systen.currentTimeMillis();
                Log.d(TAG, (end - start));
            }
        });


図1. 実際にObject Detectionしている画面

評価結果

各端末・SDKでObject Detectionをそれぞれ10回を実施した平均の性能を表に示します。

端末 SDK Performance
Pixel2 AAR 87ms
Pixel2 MLKit 104ms
Pixel3 AAR 46ms
Pixel3 MLKit 50ms

Pixel2よりPixel3の性能が大幅に向上。
Pixel2ではAARに比べてMLKitは約20%の性能劣化。
Pixel3ではAARに比べてMLKitは約10%の性能劣化。

考察

Pixel2に比べてPixel3は性能が約2倍。AI性能が3倍というハードの進化はどうやら伊達じゃないらしい。

AARに比べてMLKitがいずれも性能劣化しているが、これはAndroid SDKデザインに沿ってMLKitが非同期になっている点が大きいと考えられる。
Android SDKはMainスレッド（UIを司るスレッド）をできるだけ止めないよう、あらゆる処理を非同期化するように推奨されている。
非同期SDKも多く準備されており、”Androidらしいプログラム”は適切に非同期処理が組み込まれている。
AARはJNI丸出しの実行方式で"Androidらしくない"代わりに高い性能を得られていると考えられる。
Pixel2に比べてPixel3のほうがMLKitの性能劣化が少ないのはCPUクロック数がPixel3の方が高いなどハードスペック差が効いていそう。

結論

2018年のフラッグシップAndroid端末はPixel3と同じSnapdragon 845（Snapdragon使っていない端末も沢山ありますが…）。
このハイエンド端末で約20fpsでObject Detectionを実行できることが分かった。

これは概ね「使える」性能だと言って良いと思う。
ただ、動体などを扱う場合はその移動速度によってはまだ厳しいかもしれない。
一年前のフラッグシップ端末(Snapdragon 835相当)では約10fpsであり、この場合は動体がかなり厳しかった<sup>4</sup>ことを考えると、いよいよ使える時代が来たと言っても良さそう。

すでに次世代プロセッサのSnapdragon 855が発表されており、2019年のハイエンド端末にはコレが搭載されることは間違いない。
Snapdragon 845にくらべて2倍のAI性能と謳われているため、2019年はモバイル端末上で機械学習モデルを「十分使える」レベルで動かせる年になりそう<sup>5</sup>。

おわりに

Advent Calendarに穴が空いているとはいえ、一日遅れで押し込んでしまって本当に良かったのかなぁ…。
弊社カブクではエッジ環境やクラウド環境で機械学習をプロダクション適用したいというエンジニアや実課題に機械学習（もしくは他の手法）を適用してみたいという機械学習エンジニアを募集しています。

おまけ

MLKitカスタムモデルのSDKは今のところ非同期APIだけしか提供されていない。
Cloud NEXTのAI in motionではObject Detectionで環境認識して、各ロボット（エージェント）の行動をDQNで決定するため、2つのモデルを動かす必要があった。
こういった複数モデルをシーケンシャルに実行する必要がある場合、非同期callbackがネストしてツラい。
ネストしないようクラスを分けてホゲホゲみたいな話も分かる。分かるよ。でもそうじゃない。
アッチの世界とコッチの世界を行ったり来たりさせたくないんですよ。
当然、性能もモデル実行数に比例して悪くなるし。

サンタさんへ

今年一年、良い子にしていたのでMLKitのSDKに同期APIをください。

あだむ

注釈

  1. カブクでは年2回、春と秋に有志で一泊二日の合宿をしています。2016秋、2017春、2017秋、2018春
  2. Pixel2は技適が通っていないので電波暗室か通信許可のある諸外国で評価を実施してくれよな！約束だぞ！
  3. カブクが技術協力させてもらったブース。Google Cloud NEXT '18 Tokyoも同じブース展示をしましたが、技適の問題で技適の通ってる端末を使ったが、性能が一段劣化してツラミ成分が2割増。
  4. Google Cloud NEXT '18 San FranciscoではPixel2を使っていた。動くロボットをObject Detectionする必要があり、性能が追いつかずロボットの動きが速すぎると衝突判定などで判定ミスがありゲーム性を損ねるシーンが何回もあった。さらにデモのため端末画面をVysorというソフトでTVディスプレイにキャストする必要があり、これが性能を15〜20%ほど劣化させツラかった。
  5. Raspberry PiにEdge TPUをUSB接続してObject Detetionを実効するデモでは、6ms（166fps！）で物体認識できていたのでエッジ環境での機械学習の導入は意外と近い未来かもしれない。

その他の記事

Other Articles

2022/06/03
拡張子に Web アプリを関連付ける File Handling API の使い方

2022/03/22
<selectmenu> タグできる子; <select> に代わるカスタマイズ可能なドロップダウンリスト

2022/03/02
Java 15 のテキストブロックを横目に C# 11 の生文字列リテラルを眺めて ECMAScript String dedent プロポーザルを想う

2021/10/13
Angularによる開発をできるだけ型安全にするためのKabukuでの取り組み

2021/09/30
さようなら、Node.js

2021/09/30
Union 型を含むオブジェクト型を代入するときに遭遇しうるTypeScript型チェックの制限について

2021/09/16
[ECMAScript] Pipe operator 論争まとめ – F# か Hack か両方か

2021/07/05
TypeScript v4.3 の機能を使って immutable ライブラリの型付けを頑張る

2021/06/25
Denoでwasmを動かすだけの話

2021/05/18
DOMMatrix: 2D / 3D 変形（アフィン変換）の行列を扱う DOM API

2021/03/29
GoのWASMがライブラリではなくアプリケーションであること

2021/03/26
Pythonプロジェクトの共通のひな形を作る

2021/03/25
インラインスタイルと Tailwind CSS と Tailwind CSS 入力補助ライブラリと Tailwind CSS in JS

2021/03/23
Serverless NEGを使ってApp Engineにカスタムドメインをワイルドカードマッピング

2021/01/07
esbuild の機能が足りないならプラグインを自作すればいいじゃない

2020/08/26
TypeScriptで関数の部分型を理解しよう

2020/06/16
[Web フロントエンド] esbuild が爆速すぎて webpack / Rollup にはもう戻れない

2020/03/19
[Web フロントエンド] Elm に心折れ Mint に癒しを求める

2020/02/28
さようなら、TypeScript enum

2020/02/14
受付のLooking Glassに加えたひと工夫

2020/01/28
カブクエンジニア開発合宿に行ってきました 2020冬

2020/01/30
Renovateで依存ライブラリをリノベーションしよう 〜 Bitbucket編 〜

2019/12/27
Cloud Tasks でも deferred ライブラリが使いたい

2019/12/25
*, ::before, ::after { flex: none; }

2019/12/21
Top-level awaitとDual Package Hazard

2019/12/20
Three.jsからWebGLまで行きて帰りし物語

2019/12/18
Three.jsに入門＋手を検出してAR.jsと組み合わせてみた

2019/12/04
WebXR AR Paint その２

2019/11/06
GraphQLの入門書を翻訳しました

2019/09/20
Kabuku Connect 即時見積機能のバックエンド開発

2019/08/14
Maker Faire Tokyo 2019でARゲームを出展しました

2019/07/25
夏休みだョ！WebAssembly Proposal全員集合！！

2019/07/08
鵜呑みにしないで！ —— 書籍『クリーンアーキテクチャ』所感 ≪null 篇≫

2019/07/03
W3C Workshop on Web Games参加レポート

2019/06/28
TypeScriptでObject.assign()に正しい型をつける

2019/06/25
カブクエンジニア開発合宿に行ってきました 2019夏

2019/06/21
Hola! KubeCon Europe 2019の参加レポート

2019/06/19
Clean Resume きれいな環境できれいな履歴書を作成する

2019/05/20
[Web フロントエンド] 状態更新ロジックをフレームワークから独立させる

2019/04/16
C++のenable_shared_from_thisを使う

2019/04/12
OpenAPI 3 ファーストな Web アプリケーション開発（Python で API 編）

2019/04/08
WebGLでレイマーチングを使ったCSGを実現する

2019/03/29
その1 Jetson TX2でk3s(枯山水)を動かしてみた

2019/04/02
『エンジニア採用最前線』に感化されて2週間でエンジニア主導の求人票更新フローを構築した話

2019/03/27
任意のブラウザ上でJestで書いたテストを実行する

2019/02/08
TypeScript で “radian” と “degree” を間違えないようにする

2019/02/05
Python3でGoogle Cloud ML Engineをローカルで動作する方法

2019/01/18
SIGGRAPH Asia 2018 参加レポート

2019/01/08
お正月だョ！ECMAScript Proposal全員集合！！

2019/01/08
カブクエンジニア開発合宿に行ってきました 2018秋

2018/12/25
OpenAPI 3 ファーストな Web アプリケーション開発（環境編）

2018/12/21
[IoT] Docker on JetsonでMQTTを使ってCloud IoT Coreと通信する

2018/12/11
TypeScriptで実現する型安全な多言語対応（Angularを例に）

2018/12/05
GASでCompute Engineの時間に応じた自動停止/起動ツールを作成する 〜GASで簡単に好きなGoogle APIを叩く方法〜

2018/12/02
single quotes な Black を vendoring して packaging

2018/11/14
3次元データに2次元データの深層学習の技術(Inception V3, ResNet)を適用

2018/11/04
Node Knockout 2018 に参戦しました

2018/10/24
SIGGRAPH 2018参加レポート-後編（VR/AR）

2018/10/11
Angular 4アプリケーションをAngular 6に移行する

2018/10/05
SIGGRAPH 2018参加レポート-特別編（VR@50）

2018/10/03
Three.jsでVRしたい

2018/10/02
SIGGRAPH 2018参加レポート-前編

2018/09/27
ズーム可能なSVGを実装する方法の解説

2018/09/25
Kerasを用いた複数入力モデル精度向上のためのTips

2018/09/21
競技プログラミングの勉強会を開催している話

2018/09/19
Ladder Netwoksによる半教師あり学習

2018/08/10
「Maker Faire Tokyo 2018」に出展しました

2018/08/02
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法

2018/07/26
Apollo GraphQLでWebサービスを開発してわかったこと

2018/07/19
【深層学習】時系列データに対する１次元畳み込み層の出力を可視化

2018/07/11
きたない requirements.txt から Pipenv への移行

2018/06/26
CSS Houdiniを味見する

2018/06/25
不確実性を考慮した時系列データ予測

2018/06/20
Google Colaboratory を自分のマシンで走らせる

2018/06/18
Go言語でWebAssembly

2018/06/15
カブクエンジニア開発合宿に行ってきました 2018春

2018/06/08
2018 年の tree shaking

2018/06/07
隠れマルコフモデル 入門

2018/05/30
DASKによる探索的データ分析(EDA)

2018/05/10
TensorFlowをソースからビルドする方法とその効果

2018/04/23
EGLとOpenGLを使用するコードのビルド方法〜libGLからlibOpenGLへ

2018/04/23
技術書典4にサークル参加してきました

2018/04/13
Python で Cura をバッチ実行するためには

2018/04/04
ARCoreで3Dプリント風エフェクトを実現する〜呪文による積層造形映像制作の舞台裏〜

2018/04/02
深層学習を用いた時系列データにおける異常検知

2018/04/01
音声ユーザーインターフェースを用いた新方式積層造形装置の提案

2018/03/31
Container builderでコンテナイメージをBuildしてSlackで結果を受け取る開発スタイルが捗る

2018/03/23
ngUpgrade を使って AngularJS から Angular に移行

2018/03/14
Three.jsのパフォーマンスTips

2018/02/14
C++17の新機能を試す〜その1「3次元版hypot」

2018/01/17
時系列データにおける異常検知

2018/01/11
異常検知の基礎

2018/01/09
three.ar.jsを使ったスマホAR入門

2017/12/17
Python OpenAPIライブラリ bravado-core の発展的な使い方

2017/12/15
WebAssembly（wat）を手書きする

2017/12/14
AngularJS を Angular に移行: ng-annotate 相当の機能を TypeScrpt ファイルに適用

2017/12/08
Android Thingsで4足ロボットを作る ~ Android ThingsとPCA9685でサーボ制御)

2017/12/06
Raspberry PIとDialogflow & Google Cloud Platformを利用した、3Dプリンターボット(仮)の開発 (概要編)

2017/11/20
カブクエンジニア開発合宿に行ってきました 2017秋

2017/10/19
Android Thingsを使って3Dプリント戦車を作ろう ① ハードウェア準備編

2017/10/13
第2回 魁！！ GPUクラスタ on GKE ~PodからGPUを使う編~

2017/10/05
第1回 魁！！ GPUクラスタ on GKE ~GPUクラスタ構築編~

2017/09/13
「Maker Faire Tokyo 2017」に出展しました。

2017/09/11
PyConJP2017に参加しました

2017/09/08
bravado-coreによるOpenAPIを利用したPythonアプリケーション開発

2017/08/23
OpenAPIのご紹介

2017/08/18
EuroPython2017で2名登壇しました。

2017/07/26
3DプリンターでLチカ

2017/07/03
Three.js r86で何が変わったのか

2017/06/21
3次元データへの深層学習の適用

2017/06/01
カブクエンジニア開発合宿に行ってきました 2017春

2017/05/08
Three.js r85で何が変わったのか

2017/04/10
GCPのGPUインスタンスでレンダリングを高速化

2017/02/07
Three.js r84で何が変わったのか

2017/01/27
Google App EngineのFlexible EnvironmentにTmpfsを導入する

2016/12/21
Three.js r83で何が変わったのか

2016/12/02
Three.jsでのクリッピング平面の利用

2016/11/08
Three.js r82で何が変わったのか

2016/12/17
SIGGRAPH 2016 レポート

2016/11/02
カブクエンジニア開発合宿に行ってきました 2016秋

2016/10/28
PyConJP2016 行きました

2016/10/17
EuroPython2016で登壇しました

2016/10/13
Angular 2.0.0ファイナルへのアップグレード

2016/10/04
Three.js r81で何が変わったのか

2016/09/14
カブクのエンジニアインターンシッププログラムについての詩

2016/09/05
カブクのエンジニアインターンとして3ヶ月でやった事　〜高橋知成の場合〜

2016/08/30
Three.js r80で何が変わったのか

2016/07/15
Three.js r79で何が変わったのか

2016/06/02
Vulkanを試してみた

2016/05/20
MakerGoの作り方

2016/05/08
TensorFlow on DockerでGPUを使えるようにする方法

2016/04/27
Blenderの3DデータをMinecraftに送りこむ

2016/04/20
Tensorflowを使ったDeep LearningにおけるGPU性能調査
→
←

関連職種

Recruit

→
←

お客様のご要望に「Kabuku」はお応えいたします。
ぜひお気軽にご相談ください。

相談する
お電話でも受け付けております
03-6380-2750
営業時間：09:30～18:00
※土日祝は除く