Humanome Eyes日本語簡易マニュアル

Transcript

1. 株式会社ヒューマノーム研究所 ϓϩάϥϛϯάແ͠Ͱ "*Λ࡞੒͢Δπʔϧ )VNBOPNF &ZFT
   ͷ ࢖͍ํ Ver 1.5 https://eyes-ai.com/ https://humanome.jp/

   初版︓2020年12⽉3⽇ 最終改訂︓2021年3⽉31⽇

2. 1 Humanome Eyesとは 物体検知(*)のAI構築が、プログラミング無し(No-Code)で可能です 写真 ⽝ 熊 アノテーション（⼿動） AI構築 熊

   ⽝ 熊2 熊1 ⽝ AI活⽤ 例︓⾃動アノテーション Humanome Eyesが できること 評価 (*) 物体検知︓画像上で、指定した物体（⽝、熊など）の位置を同定すること

3. 2 ⽬次 物体検知AIとは Humanome Eyes の利⽤法 Humanome Eyesの利⽤事例 1 2

   3 Humanome Eyes が できること 4

4. 物体検知AIとは Humanome Eyes が対象とする問題は、AIの典型例である「物体検知」です。 ここでは、物体検知AIとは何か、物体検知AI作成に何が必要かを説明します。

5. 4 物体検知AIとは 物体検知の概要 ▪ 物体検知は、画像（動画）に対して物体の矩形位置と物体の名称（ラベル)を予測することが⽬標です。 ▪ 物体検知AIの構築では、画像を与えられた時、物体検知を⾃動で実⾏して回答する AIを作成します。 ▪ このAIの中で、実際に物体検知をする部分を、機械学習モデルと⾔います。

   機械学習モデル ⼭ ⼭ ⽉

6. 5 ⽝ 熊 物体検知AIとは 物体検知AI作成には画像（動画）とアノテーションが必要です ▪ 物体検知の機械学習モデルを作るためには「答え付きのデータ」が必要です。 ▪ 物体検知モデルの学習のため、⼊⼒画像（動画）と、画像に対する答えである「矩形位置」 とそ

   の「物体名（ラベル）」を⽤意します。 ▪ 矩形位置と物体名を総称して、アノテーションと呼びます 画像 アノテーション 物体名 （ラベル） 矩形位置

7. 6 物体検知AIとは 物体検知の活⽤例︓AIによる1万枚の画像から動物の検出 ▪ 10,000枚の画像から、⽝と熊が写っている数を数えます。 ▪ 以下のステップにより、200枚だけアノテーションをすれば、あとはAIが⾃動でア ノテーションを実⾏し、1万枚の画像から、⽝と熊の数がわかります。 画像 10000枚

   ⽝ 熊 AI構築 （機械学習モデル） 画像200枚に⼿動で アノテーション付与 ⽝ 熊 ⽝ 熊 画像9,800枚 アノテーション済 画像 9,800枚 適⽤ 画⾯に⽝と熊の 数が表⽰される

8. Humanome Eyes が できること Humanome Eyesは、物体検知AIの構築に必要な、 すべての機能が揃っています。

9. 8 物体検知AIは、以下の４つのステップでできています。 画像・動画の準備 各⾃で⽬的の画像・動画を収集する必要があります 1 アノテーション 各画像の、どの位置に何が写っているか、注釈を作成します 2 AI構築・機械学習モデルの学習 画像とアノテーションを基に、独⾃モデルの学習を実施します

   3 AIモデルの適⽤ 4 作成したモデルが、意図した物体を認識できるかのテストや、新規画像・動画への適⽤を実施します。

10. 9 学習に利⽤する 画像を準備します 画像・動画 ⽝ 熊 アノテーション（⼿動） AI構築 熊 ⽝

    熊2 熊1 ⽝ AI活⽤ 評価 学習に利⽤する 画像を準備し、Humanome Eyes にアップロードします。 1

11. 10 アノテーションの作成 画像・動画 ⽝ 熊 アノテーション（⼿動） AI構築 熊 ⽝ 熊2

    熊1 ⽝ AI活⽤ 評価 アノテーションを⼿動で作成します ⻘で囲った矩形がアノテーションです 2

12. 11 AI構築・機械学習モデルの学習 画像・動画 ⽝ 熊 アノテーション（⼿動） AI構築 熊 ⽝ 熊2

    熊1 ⽝ AI活⽤ 評価 機械学習モデルの学習を⾏います。 ボタンひとつで、学習が開始できます。 また、作成されたモデルの精度も 評価できます。 3 検証データでのロスと精度

13. 12 機械学習モデルの利⽤ 画像・動画 ⽝ 熊 アノテーション（⼿動） AI構築 熊 ⽝ 熊2

    熊1 ⽝ AI活⽤ 評価 新たな画像や動画に対して、作成した機械学習モデルを適⽤。 画像や動画のなかから、学習結果に基づき、物体を検出します。 4

14. Humanome Eyesの利⽤事例 写真からイチゴの位置を発⾒し、さらに、⾚く熟れたイチゴか、⻘いイチゴかを 推定する問題を解きます

15. 14 サンプルデータを⽤いた物体検知の例 1. ⼿持ちの写真から、まずは物体検知を試してみる 公開されている物体検知の機械学習モデルを利⽤し、物体検知を試してみることができます 2. ⾃分専⽤の機械学習のモデルを学習する イチゴのサンプル画像を⽤いて、モデルの学習を体験できます 3. 画像のアノテーション作業を効率化する

    2で学習したモデルを利⽤して、効率的にアノテーションを実施します。

16. 1.⼿持ちの写真から、まずは物体検知を試してみる 公開されている物体検知の機械学習モデルを利⽤し、物体検知を試してみることができます

17. 16 1.⼿持ちの写真から、まずは物体検知を試してみる モデル詳細画⾯への移動 ▪ 画⾯左部のモデル⼀覧を選択 ▪ Object Detectionをクリックすると、モデル詳細画⾯へ移動できます。

18. 17 1.⼿持ちの写真から、まずは物体検知を試してみる 物体検知のテスト ▪ ⼿持ちの写真を箱のマークの領域に ドラッグアンドドロップし、アッ プロードボタンを押しましょう ▪ 検出結果が現れます ▪

    右の画像は、以下のURLの画像で試したものです。カイトと⼈が 認識できてますね ▪ https://www.flickr.com/photos/mike_miley/4678754542/in/ photolist-88rQHL-88oBVp-88oC2B-88rS6J-88rSqm-88oBLv- 88oBC4/ 認識可能な物体名 選んだ写真をここに⼊れる

19. 2. ⾃分専⽤の機械学習のモデルを学習する イチゴのサンプル画像を⽤いて、モデルの学習を体験できます

20. 19 2. ⾃分専⽤の機械学習のモデルを学習する 事前準備 ▪ サンプルデータを準備します。 ▪ 学習⽤画像ファイル︓strawberry.zip • いちごの写真のJPEGファイル

    157枚が⼊ったzip ファイルです。 • Zipは展開しないで（.zipのままにして）ください。 ▪ ラベルファイル︓strawberry_train.xml • 上記の写真のアノテーションが⼊ったファイルです。 • CVAT 1.1 (for Images) 形式です。

21. 20 2. ⾃分専⽤の機械学習のモデルを学習する A. 訓練⽤タスク作成&画像のアップロード ▪ タスク⼀覧画⾯から、右上の”タスクの作成” を選びます。 ▪ 「タスクの作成」が開きます。

    ▪ 名前に Strawberry (1)、ラベルに Green, Red (2)を記載します。 ▪ ファイル選択 (3)に、strawberry_small.zip をドラッグアンドドロップします。 ▪ “アップロード”ボタンをクリックすると、タスクが作成されます。 ▪ タスク詳細画⾯に移動して、サンプル画像が正しいこと、また、アノテーション画⾯（タス ク詳細画⾯→アノテーション→アノテーションの確認/編集) に⾏って画像が正しくアップ ロードできていることを確認しましょう。 (1) (2) (3)

22. 21 2. ⾃分専⽤の機械学習のモデルを学習する B. アノテーションのアップロード ▪ アノテーションは、通常は１枚１枚つけていきますが、ここではすでに作成済 みのアノテーションを利⽤します。 ▪ タスク詳細画⾯の右上「操作」から、「アノテーションをアップロード」→CVAT

    1.1 を選択してください。 ▪ アップロードするファイルを尋ねられるので、事前準備でダウンロードした、 strawberry_train.xml を選択します。

23. 22 2. ⾃分専⽤の機械学習のモデルを学習する C. アノテーションのアップロード ▪ アップロード後は、アノテーションが正しく取り込まれたか、 アノテーション画⾯（タスク詳細画⾯→アノテーション→ アノテーションの確認/編集) に⾏って確認しましょう。

    ▪ タスク詳細画⾯で，はじめ、アノテーション前は、アノテー ションが少ない旨のメッセージが書かれていますが、上記 の通りアノテーションが付けば、その表⽰は消えます。

24. 23 2. ⾃分専⽤の機械学習のモデルを学習する D. 機械学習モデルの訓練 ▪ まずは、初期値のままで訓練をおこなってみましょう。 ▪ 右の Start

    ボタンを押して、訓練を開始します ▪ 訓練を開始してしばらくすると、Trained Models の欄に、訓練中 のモデルが表⽰されます。終了すると “finished” になります。

25. 24 2. ⾃分専⽤の機械学習のモデルを学習する E. 訓練中、訓練後のモデルの様⼦ ▪ ３種類のグラフが表⽰されます。⼀番上のLoss は、値が⼩さくなるほど、予測と答えが近い状況を⽰しています。残りの２つは、精度を 表していて⼤きくなるほど、予測と答えが近い状況を⽰します。 ▪

    現状のモデルでの予測結果と元のアノテーションの⽐較が、その下に現れます。右がアノテーション（正解画像）、左が予測画像です。 予測の様⼦が⽐較できます。 ▪ 学習が終了すると、画⾯上部に、P17と同様の物体検知のテストができる画⾯が現れます。学習したモデル⾏う予測を体験することがで きます。

26. 3. 学習したモデルを、画像に適⽤して⾃動アノテーションを実施 写真からイチゴの位置を発⾒し、さらに、⾚く熟れたイチゴか、⻘いイチゴかを 推定する問題を解きます

27. 26 3. 学習したモデルを、画像に適⽤して⾃動アノテーションを実施 事前準備 ▪ テスト⽤画像ファイル︓strawberry-3-images.zip • いちごの写真のJPEGファイル、3枚だけを⼊れた zipです。

28. 27 3. 学習したモデルを、画像に適⽤して⾃動アノテーションを実施 A. テスト⽤タスク作成&画像のアップロード ▪ 訓練⽤タスクの作成と同様の⼿順で、テスト⽤タスクを作成します。 ▪ 複数のタスクが作成できるのはProプラン以上となります。 ▪

    Basicプランで試したい⽅は、作成したタスクを⼀度削除すると、テストすることが 可能になります。ただし、⼀度削除したタスクは、元に戻せませんので、ご注意く ださい。 ▪ ダッシュボードから”タスクの作成（Create New Task）” を選びます。 ▪ タスクの作成（Create a new task） で、以下を⼊⼒します。Labelsは訓練デー タのタスクと同じもの⼊⼒します。 • Name: Strawberry-test • Labels: Red Green ▪ Select Files から、strawberry-3-images.zip を選びます。 ▪ “Submit”ボタンをクリックします。

29. 28 3. 学習したモデルを、画像に適⽤して⾃動アノテーションを実施 B.⾃動アノテーション（モデル適⽤） ▪ 正しく画像がアップロードできているか、View/Edit Annotation をクリックし、画像が表⽰されることを確認してください。 • テスト画像では3枚のイチゴの写真が表⽰できます

    ▪ タスク詳細画⾯に戻り、“Actions”の” AI Annotation” をクリックして、今作成したモデルを選択します。

30. 29 3. 学習したモデルを、画像に適⽤して⾃動アノテーションを実施 B.⾃動アノテーション（モデル適⽤） ▪ ラベルの対応を確認して Submit を押します ▪ アノテーション(Annotations)

    のところから、アノテーションの確認編集（View/Edit Annotation）へのリンクが消え、キャ ンセルボタン（☓ボタン）が表⽰されます。

31. 30 3. 学習したモデルを、画像に適⽤して⾃動アノテーションを実施 結果の確認 ▪ 終了したら、アノテーションの項⽬が元に戻り、AIアノテーションが付けたアノテーション数が確認できます。 ▪ アノテーション画⾯に移動することで、アノテーションの詳細が確認できます。 ▪ 必要に応じて修正をすることで、本来は０からアノテーションをしなければならないところを、AIの⼿を借りて、途中から始めることができます。

    アノテーションの 確認/編集

32. Humanome Eyes の利⽤法 画⾯上には、説明に利⽤していないボタンがありますが、将来の機能拡張の ためのものであり、現在のバージョンではサポートしておりません。ご了承くださ い。

33. 32 アカウントの作成 アカウントの作成 ▪ ブラウザは必ず Chrome を利⽤してください。 ▪ アカウントを作成する (Create

    an account) からアカウントの作成が可能です • パスワードは、8⽂字以上、英数字記号をすべて使う必要があります ので、ご注意ください • メルアドの検証⽤リンクが送られますので、クリックして確定をしてくださ い。確定後、ログインが可能になります。

34. 33 Humanome Eyes の利⽤法 タスク⼀覧画⾯(Tasks) ▪ ログインをして現れる画⾯をタスク⼀覧画⾯ と呼びます。 ▪ すでにタスクをお持ちの場合には、各タスクの詳細に移動できます。

35. 34 Humanome Eyes の利⽤法 Task1 訓練データ Task2 テストデータ B. アノテーション付与

    C. 機械学習実施（モデル訓練） E. AIアノテーション （モデル適⽤） A. 訓練⽤タスク作成＆画像（動画）のアップロード D. テスト⽤タスク作成＆画像のアップロード 学習を実施する⼿順

36. 35 Humanome Eyes の利⽤法 事前準備 ▪ 準備するもの • 訓練データ⽤の画像（または動画） •

    動画の場合、mpeg4 等の形式のままで⼤丈夫です。 • テストデータ⽤の画像（または動画） • 物体名（ラベル︓⽝、猫、などのアノテーション時に利⽤する物体名）

37. 36 Humanome Eyes の利⽤法 A. 訓練⽤タスク作成&画像（動画）のアップロード（１） 訓練⽤タスクは、次ページにかけて記載している１〜6の⼿順で作成します。 1. タスク⼀覧画⾯から”タスクの作成” を選びます。

    2. タスクの作成画⾯ が開きます。 3. 名前には任意のタスク名を⼊⼒してください。 • 訓練⽤タスクを作成する場合は、Annotation-Task-train のよ うに訓練(training)であることを明⽰すると後で便利です。

38. 37 Humanome Eyes の利⽤法 A. 訓練⽤タスク作成&画像（動画）のアップロード（２） 4. ラベル編集に 利⽤するラベル（物体名）を⼊⼒します。 •

    複数のラベルを順番に⼊⼒できます。終了したら「保存して完 了」を押します。 4. ファイル選択 に、訓練⽤の画像（動画）ファイルをドラッグアンド ドロップしてください。もし、ZIP等で圧縮していないフォルダを利⽤ する場合には、「フォルダをアップロード」を選択してください。 5. 最後に「アップロード」ボタンをクリックします。

39. 38 Humanome Eyes の利⽤法 B. アノテーション付与（１）: 開始 ▪ タスク⼀覧画⾯で、対象のタスクの “Open”

    を押すと、タスク詳細画⾯に移動します。 ▪ Annotationsの View/Edit Annotation をクリックします ▪ アノテーションを実施する画⾯に移動します (次ページ)

40. 39 Humanome Eyes の利⽤法 B. アノテーション付与（2）: 画⾯の説明 ▪ アノテーションを作成します。 ▪

    左の四⾓を選択すると、ポップアップが開きますので、付与したいラベルを 選択します。 ▪ その後、Shape を選択すると、クリックで矩形の左上、次のクリックで矩 形の右下を指定します。 ▪ 他の画像に移動するのは、画⾯上部の再⽣ボタンを利⽤します（緑で 囲った部分） ▪ アノテーションが終了したら、Saveボタン（⻘）で保存します。タスク詳 細画⾯に戻ります。

41. 40 Humanome Eyes の利⽤法 C. 機械学習モデルの訓練(1) ▪ モデルの学習も、タスク詳細画⾯から可能です。 ▪ ”Training

    new model” では、ハイパーパラメータの設定が可能です。 ▪ 必要な値を設定したら、Start ボタンで学習が開始します。 • Training Stepsは、訓練を繰り返す回数を⽰しており、値が⼤きほ ど時間がかかります。 ▪ 終了すると、Cancel Trainingが消え、Trained models に新しいモ デルが現れます。

42. 41 Humanome Eyes の利⽤法 学習が進むとモデルの詳細画⾯で、学習状況と現状の予測が確認できます

43. 42 Humanome Eyes の利⽤法 D.テスト⽤タスク作成＆画像のアップロード ▪ 訓練⽤のタスク作成と同様の⼿順でテスト⽤のタスクを作成します。 1. ダッシュボードから”Create New

    Task” を選びます 2. Create new task が開きます 3. Nameには任意のタスク名を⼊⼒してください。 4. Annotation-Task-test のようにテストであることを明⽰しましょう。 5. Labels には、訓練⽤のタスクと同じラベルを⼊⼒します。

44. 43 Humanome Eyes の利⽤法 E.AIアノテーション（モデル適⽤） ▪ テスト⽤タスクのタスク詳細画⾯で、右上の “Actions” を開き、 “AI

    annotation” を選択しま す。選択するとポップアップが開くので、適⽤したいモデルを選択します。 • 注意︓現在のアノテーションは削除され、復元できません。 • 間違えて、訓練⽤タスクに対して実⾏しないよう、ご注意ください。 ▪ 既にアノテーションがある場合には、事前にダンプ（ダウンロード）し、ダンプしたアノテーションをアップ ロードすることで元の状態に戻せます（「アノテーションの保存と読み込み」の項参照）。

45. 44 Humanome Eyes の利⽤法 アノテーションの保存と読み込み ▪ タスク詳細画⾯の右上、Actions にアノテーションの出⼒(Dump Annotation)とアップロード（Upload Annotation）があります。

    ▪ 出⼒︓Dump Annotation から、動画の場合は CVAT XML 1.1 for video, 画像の場合は CVAT XML 1.1 for images を選択し て保存してください ▪ 保存︓上記の⼿順で保存したものの場合、(video, images いずれで も) Upload Annotation から CVAT XML 1.1 を選択してください。 ▪ 他のデータの場合は、その形式に従ってください。本機能は、各形式、全 ての記載をサポートするものではありません。

46. Appendix. 画⾯遷移⼀覧 画⾯と名称の⼀覧を掲載します

47. 46 主要な画⾯の名称と遷移 タスク一覧 アノテーション画面 タスク詳細画面 学習の開始・キャンセル

48. 47 主要な画⾯の名称と遷移 モデル詳細 モデル一覧

49. ご提供プラン

50. 49 Humanome Eyes は無料でスタートできます ご提供プラン プラン Basic （※） Pro （★）

    Business 料金 無料 49,800円/月 お問い合わせください 対象 まずは試してみたい方向け 本格的に使いたい方向け 構築したAIを実運用したい方向け アノテーションの実施 ✔ ✔ ✔ AIモデル構築 ✔ （保存モデル数 1個まで） ✔ （保存モデル数 50個まで） ✔ GPUの利用 ✔ ✔ ✔ メールサポート ✔ ✔ API連携 ✔ いずれのプランでも、全ての機能がご利⽤いただけます。 ※︓Basicプランでは、右記の上限があります。タスク数:1、保存モデル数:1、学習繰り返し回数:1,000 ★︓Proプランでは、右記の上限があります。タスク数:10、保存モデル数:50、学習繰り返し回数:100,000 GPUの利⽤は、タスクあたり1個が上限となり、最⼤で10GPUの同時利⽤が可能です。

51. 50 BasicからProプランへのアップグレード⽅法 ▪ 画⾯右上のアカウントボタンから、「設定」を選びます。 ▪ 次に、プランのタブを開いて、同意ボタンから、クレジットカードの情報を⼊⼒