「ほっぺを膨らませる」が高精度なのはなぜ？

iOSDC Japan 2026 ルーキーズLTで発表した「『ほっぺを膨らませる』が高精度なのはなぜ？」の登壇資料です。

iOSとAndroidで同じ表情を計測したとき、なぜ精度に大きな違いが生まれるのか。アバター配信アプリ「Avvy」での顔トラッキング実装を題材に、Apple VisionとMediaPipe Face Landmarkerの表情認識の違いについて紹介します。

iOSDC Japan 2026
Rookies LT / Day 1
September 12, 2026
Session: https://fortee.jp/iosdc-japan-2026/proposal/xxxxx

Transcript

1. iOSDC JAPAN 2026 · ROOKIES LT 「ほっぺを膨らませる」が 高精度なのはなぜ？ RIO · @rioX432 · AnotherBall / Avvy
2. Self Introduction RIO (Ryosuke Shimizu) @rioX432 AnotherBall・Avvy Android・iOS・Kotlin Multiplatform 2
3. 誰でもスマホ一つで2Dアバターを作成でき 顔出しなし・機材なしでライブ配信を始められる VTuberアバター作成・配信アプリ 3
4. Android／iOSクライアントは、KMPとUnityを共用する KMP＝AndroidとiOSでKotlinのコードを共有する仕組み。 Unity＝アバターを描くゲームエンジン 4
5. ほっぺを膨らませると、アバターのほっぺも膨らみます ふつう ほっぺを膨らませる 5
6. 頬をふくらませる「ぷく顔」は、イラストやVTuberで 定番の表情 7
7. iOSで顔を動かす方法は、ARKitだけではありません Apple Vision 画像から 特徴点をとる Appleの全OS ARKit 表情を 名前つきで返す iOS・iPadOS MediaPipe 複数のOSで 揃える iOS / Android / Web 独自 Core ML 自前のモデルを 走らせる Appleの全OS 6
8. iOS 27では、登録した実物の位置と向きも追えます → → USDZ .referenceobject ARObjectAnchor 3Dモデル Create ML ARKit 位置・向き Apple WWDC26『Explore enhancements to visionOS object tracking』 7
9. Avvyは、iOSでARKit、 AndroidでMediaPipeを使っています iOS ARKit Android MediaPipe 8
10. ARKitは「ほっぺを膨らませた強さ」を数値で返します cheekPuff 0.0 Apple『ARFaceAnchor.blendShapes』『BlendShapeLocation』 1.0 9
11. ARKitのcheekPuffは、0.040から0.971へ上がりました ARKit 無表情 0.040 cheekPuff → ほっぺを膨らませる 0.971 10
12. 保存画像をMediaPipeにかけても、ほぼ0のままでした MediaPipe 無表情 0.000008 → cheekPuff ほっぺを膨らませる 0.000006 11
13. 頬をふくらませても、Androidでは動かない Android iOS 8
14. この収録の顔の動きの中では、 MediaPipeのふくらみは届きませんでした 12
15. 6つの動きとも、ARKitでは同じ名前の値がいちばん動き ました 値の名前に合わせて試した動き ARKitでいちばん動いた値 保存画像 → MediaPipeでいちばん動いた値 ほっぺを膨らませる cheekPuff どれもほとんど動かず 口をすぼめる mouthPucker どれもほとんど動かず （mouthPuckerは無表情 でもほぼ最大） 口を開ける jawOpen mouthLowerDown 笑う mouthSmile mouthSmile 目を見開く eyeWide browInnerUp / browOuterUp 鼻にしわを寄せる noseSneer browDown 13
16. Avvyは、ARKitの3つの値から左右の頬の動きを 作っています ARKitが返す3つ ふくらみ Avvyが 足し合わせる cheekPuff ほっぺ上げ・左 cheekSquintLeft ほっぺ上げ・右 → ふくらみ ＋ ほっぺ上げ × 1.3 左右それぞれで → アバターの 左右のほっぺ 0.1秒かけて動かす cheekSquintRight 14
17. ARKitは「意味」まで返し、Avvyは「表現」にします 顔 意味 表現 15