ノーコードAI開発プラットフォーム「AIMINA」のシステム設計コンセプトと技術的チャレンジ

2023年3月16日に開催された「SoftBank Tech Night Fes 2023」の講演資料です。

誰でも手軽にAIを使うことができるプラットフォームが生まれました。 「AIで何かできないか？」「AIで試したいアイデアがある…」 ビジネスの最前線で悩むあなたに、AIを手軽に「学べる・作れる・試せる」クラウド型AIプラットフォーム「AIMINA」を事例を交えてご紹介します。当セッションの後半では、AIプラットフォーム「AIMINA」のシステムについて、システム設計コンセプトや技術的チャレンジをご紹介いたします。

■関連リンク
・AIプラットフォーム「AIMINA」
https://aimina.com/

・「AIMINA」YouTubeチャンネル
https://www.youtube.com/channel/UC5lRAm4_0MdJ9G0qCBa0bag

■作成者
渡邉 敬介（わたなべ けいすけ）
SB C&S株式会社
AIMINA事業推進室
室長

金井 良太（かない りょうた）
SB C&S株式会社
AIMINA事業推進室
エンジニア

■SoftBank Tech Nightについて
ソフトバンク株式会社のエンジニア有志が開催するテックイベントです。
各分野のエキスパートが、日頃培った技術や事例、知見について発信しています。
イベントは開催スケジュールはconnpassをご確認ください。
https://sbtechnight.connpass.com/

SoftBank Tech Night Fes 2023公式サイト
https://www.softbank.jp/biz/events/tech-night-fes-2023/

Transcript

1. / アイミナ
   ノーコード開発AIプラットフォーム
   AIMINAサービス紹介
   

   View Slide

2. 1. 会社紹介及び発表者紹介
   2. AIMINA(アイミナ)とは
   • サービス紹介
   • 活用事例
   • 利用について
   3. AIMINAのシステム構築について
   • システム設計コンセプト
   • 技術的チャレンジ
   アジェンダ
   

   View Slide

3. SB C&S株式会社
   会社概要
   

   View Slide

4. 3
   コンシューマ
   法人
   流通
   ※従業員数は2020年4月現在
   ※SB C&S株式会社 第6期（2020年3月期）
   決算より（日本基準 単体）
   売上
   5,081億円
   ヤフー
   従業員数
   1,865人
   その他
   ソフトバンクグループ
   株式会社
   戦略的持株会社
   ソフトバンク株式会社
   ソフトバンク事業の主要セグメントの一角を担う
   投資事業
   ファンド事業 SoftBank Vision Fund
   ソフトバンク事業
   SB C&Sの位置づけ
   

   View Slide

5. 4
   IoT
   Core
   Business
   Base
   Business
   Drone
   AI
   Robot Cloud
   New Focus
   Business
   License Package PC Peripheral etc
   Any Cloud
   Distribution Technical Support Post Support
   販売パートナー
   全国10,000社
   取扱メーカー
   4,000社
   SB C&Sのビジネス
   

   View Slide

6. 5
   渡邉 敬介
   SB C&S株式会社
   AIMINA事業推進室
   室長
   米国UNIVERSITY OF MIAMにてBBA取得
   日本IBMにて営業及びマーケティング、
   アパレル企業にて経営企画、
   1年間かけアジアからアフリカまでバックパック、
   米国へ移住しITコンサル企業にてシステムコンサル、
   その後、2017年9月にSB C&S株式会社入社し、
   202年4月より現職につく。
   発表者紹介
   金井 良太
   SB C&S株式会社
   AIMINA事業推進室
   エンジニア
   エンジニアとしてiOSアプリケーションの開発や機
   械学習関連のPJへの従事、
   Kaggle参加などの経験を経て、
   2021年8月にSB C&S株式会社に入社。
   趣味は絵画や美術館巡り。
   

   View Slide

7. 6
   AIMINA（アイミナ）とは
   • ノーコード開発AIプラットフォームの紹介
   

   View Slide

8. AIをみんなの手段に。
   ここからはじまる、AIの新体験。
   誰でも手軽にAIを使うことができるプラットフォームが生まれました。
   「AIで何かできないか？」「AIで試したいアイデアがある…」
   ビジネスの最前線で悩むあなたに、ぴったりの場所です。
   AIMINAとは
   

   View Slide

9. AIMINAの特徴
   AIを手軽に「学べる・作れる・試せる」
   クラウド型AIプラットフォームの誕生です。
   AIMINAは、情報発信も、モデル開発も、モデル評価もできるクラウドサービス。
   AIについて学ぶことから、データを使ったシミュレーションまで、
   幅広い使い方を想定して作られたのがAIMINAの特徴です。
   AIに関して初歩から学びたい人も、持っているデータを使って今すぐ試したい人も。
   ひとりひとりに合った使い方がきっと見るかるはず。
   時間と開発費を最小限に、あなたのアイデアをAIで拡張してみませんか。
   

   View Slide

10. ノーコード開発 AIプラットフォーム
    2022年5月より本格稼働後、約7か月間で
    ご興味いただいた方
    ご利用いただいた方
    さまざまな業種で活用
    多くのみなさまにご利用いただいております！
    

    View Slide

11. 以上のモデルを搭載
    結果を取得
    お客様
    データ
    AIを手軽に！
    やりたいことを選んで
    データをドラッグ＆ドロップ
    画像系
    x ６
    ・物体検知
    ・画像分類
    ・異常検知
    ・ｾｸﾞﾒﾝﾃｰｼｮﾝ
    ・姿勢推定
    など
    言語系
    x ４
    ・QA *2モデル
    ・文書分類
    ・文書要約
    数値系
    x １０
    ・時系列予測
    ・ﾃｰﾌﾞﾙ回帰予測
    ・時系列異常検知
    ・時系列ｸﾗｽﾀｰ
    ・離職者予測
    など
    音声系
    x １
    

    View Slide

12. View Slide

13. AIMINA活用事例
    • 画像系、言語系、数値系などの活用事例
    • 製造業、建設業、流通業、小売業、エネルギー、IT、公共など
    

    View Slide

14. ドラレコで撮影した物体(信号機、標識、
    電柱など)をAIで検知
    良品データをAIに学習させ、良品と異な
    る特徴をもったデータを識別
    建設現場の安全管理として、
    クレーン下の作業員を検知
    公共測量事業 製造業 建設業
    物体検知
    プロジェクト毎に必要な
    AI開発を自社で運用！
    画像異常検知
    検品作業の自動化で
    生産コストを削減！
    物体検知
    危険を検知することで
    安全管理の向上！
    

    View Slide

15. 保守/メンテビジネス拡大に向けて
    過去実績からオポチュニティ発掘
    発注システムに登録された情報
    をAIで分析可能なデータへ
    社内の様々な部署で行われている
    問合せ業務の効率化に挑戦
    IT企業 流通業 製造業
    QA（質疑応答）
    3名体制の問合せ業務を
    4割削減にチャレンジ！
    文書分類
    活用できていなかった
    社内データを有効活用！
    文書要約/文書分類
    活用できていなかった
    社内データから売上拡大！
    

    View Slide

16. 週次で作成するレポート業務を
    時系列予測モデルで効率化
    発電機の状態監視業務を
    数値系AIモデルで効率化
    社員属性及び勤怠情報から離職の
    可能性がる属性を予測
    流通業 電力・ガス業 IT企業
    時系列予測
    月16時間以上かかる
    レポート業務をAIで数分に！
    数値系AI
    障害時対応を迅速にし、
    安定性向上に向けた挑戦！
    離職者者予測
    働き方改革が進む中
    早めの社員ケアを！
    

    View Slide

17. AIMINAの使い方
    • AIプロジェクトにおけるAIMINAの位置づけ
    • AIMINAが選ばれる理由
    • フリートライアル紹介
    • 教育＋AIMINA
    

    View Slide

18. 17
    ■AI活用アセスメント
    -AIで実現したい課題を定義
    -AI活用スコープを定義
    -データ要件定義
    ●PrePoCで実現性を確認
    ●結果をふまえ戦略策定
    ■プロジェクト計画
    -ビジネスプランの作成
    -プロジェクト体制構築
    ■社内承認
    ■データの収集
    ■データ分析
    ■データ作成
    ■モデルの設計
    ■学習
    ■精度検証・評価
    ※繰り返し実施
    ■モデル構築
    ■AIモデル利用
    クラウド/オンプレ
    ■アプリケーション開発
    ■システム環境構築
    ■デプロイ
    ■ユーザートレーニング
    ■運用体制構築、稼働
    ■精度検証
    ■データ再収集
    ■データ作成
    ■モデル再構築
    ■再デプロイ
    構想 データ収集 開発 運用
    PoC
    データ収集／
    アノテーション
    ／学習／評価
    PoCを繰り返し
    実用可能な精度へ
    AIプロジェクトの進め方
    

    View Slide

19. 18
    ⚫ AIでやりたいことがどこまででできるのか？
    ⚫ 業務効率化させたい内容はAIで解決できるのか？
    ⚫ データは揃っているか？どのようなデータが必要か？
    構想 データ収集 開発 運用
    PoC
    まずは試してみる！事前PoCの実施
    事前PoCができれば
    プロジェクト化
    に向けた構想フェーズ
    が進められます！
    （要件定義、社内承認、予算化など）
    AIの目的
    利用
    AI手法
    活用
    データ
    AIMINAでできること１ プロジェクト化に向けた要件定義に
    

    View Slide

20. 19
    お手持ちのデータでAIMINAでAIモデルを作って、
    評価することで、実業務に最適なAIモデルを生成！
    データ収集 開発 運用
    PoC
    画像系、言語系、
    数値系など
    20種ほどのAI
    を使って
    繰り返しPoCを実施！
    構想
    ノーコードでAI開発AIMINAでPoCの実施
    複数種類の
    モデル生成 最適なデータ
    作成
    精度の比較
    AIMINAでできること２ AI開発PoCをノーコードで実施
    

    View Slide

21. 20
    AIMINAで作成した学習済AIモデルを使って
    日々の運用し、最新のデータでモデルを更新。
    データ収集 開発 運用
    1. リアルタイム性を伴わない
    月次の売上予測などは
    AIMINA上で実運用（推論）
    2. リアルタイム性を伴う
    生産ラインの画像異常検知などは
    モデルダウンロード機能で
    学習済モデルをダウンロードし
    システムに組み込んで活用
    *システムへの組込み開発はAIMINAサービス
    に含まれておりません
    構想
    AIMINAで作成したAIで実運用
    AIMINA上で
    実運用 モデルダウン
    ロード機能活用
    PoC
    AIMINAでできること３ AIMINAと使って運用
    

    View Slide

22. ① 幅広い利用シーンに対応
    ② 使いやすい
    ③ 低価格
    ①幅広い利用シーン ②使いやすい ③低価格
    

    View Slide

23. 出荷予測による
    在庫や欠品削減
    回帰予測で不動
    産/車両価格予
    測
    画像分類による
    未装着検出
    異常検知による
    不良品検知
    文書分類による
    メールの仕分け
    質疑応答による
    自動回答検証
    需要予測AI
    画像処理AI
    文書処理AI
    期間：
    1か月
    料金：
    無料
    利用時間：
    60h/月
    AIプラットフォーム「AIMINA」
    フリートライアルプラン 受付中！
    20種類以上のAIを、今なら1か月間ご利用可能！
    試したかったAI開発を是非この機会に！
    

    View Slide

24. AIMINAのシステム構築について
    • システム設計コンセプト
    • 技術的チャレンジ
    

    View Slide

25. 24
    Challenges
    • ユーザの挙動
    • 気軽に試してもらいたい
    • 使われ方が未知数
    • ワークロードの違い
    • 学習モデルによっては数分〜数日間
    • 同じモデルでもデータ量に数分〜数日間
    • 開発リソース
    • 人的リソースの制限や期間の制約
    • AIモデル開発にフォーカスしたい
    

    View Slide

26. 25
    Serverless
    サーバーの存在を意識せずに構築・運用保守をすること
    なく、必要なリソースを動的に利用するクラウド・コン
    ピューティングモデル
    

    View Slide

27. 26
    Serverless
    • サーバーの構築
    • OSセットアップ、ネットワークの設定
    • ランタイムやミドルウェアのセットアップ
    • サーバーの運用管理
    • キャパシティ
    • スケーラビリティ
    • 耐障害性
    • セキュリティパッチ
    • ビジネスの差別化に繋がらない機能
    • 認証
    • APIスロットリング
    Undifferentiated Heavy Lifting
    （ビジネス価値を産まない作業）
    

    View Slide

28. 27
    •開発効率の向上
    •開発サイクルの高速化
    •より本質的な機能に注力
    Undifferentiated Heavy Lifting
    （ビジネス価値を産まない作業）
    • サーバーの構築
    • OSセットアップ、ネットワークの設定
    • ランタイムやミドルウェアのセットアップ
    • サーバーの運用管理
    • キャパシティ
    • スケーラビリティ
    • 耐障害性
    • セキュリティパッチ
    • ビジネスの差別化に繋がらない機能
    • 認証
    • APIスロットリング
    Serverless
    

    View Slide

29. 全体構成図
    

    View Slide

30. 全体構成図
    (1) (2) (3)
    

    View Slide

31. 30
    学習・推論データのアップロード
    

    View Slide

32. 31
    SPA on s3/CloudFront
    • ウェブサーバーからの開放
    API Gateway + Lambda + DynamoDB
    • 業務APIの高速開発
    Cognito
    • 認証機構が不要
    s3 presigned URL
    • ファイルのアップロードが簡単
    学習・推論データのアップロード
    

    View Slide

33. 32
    イベント駆動アンチウィルス＆キューイング
    

    View Slide

34. 33
    S3 events + Lambda
    • イベント駆動により常時起動のサーバーが不要
    • 拡張性が容易
    SQS
    • 疎結合にし後続処理を分離
    • 障害影響の分離
    • 負荷の分散
    イベント駆動アンチウィルス＆キューイング
    

    View Slide

35. 34
    学習・推論のAI処理
    

    View Slide

36. 35
    さまざまなワークロード
    • AWS Batch（GPU job）で対応
    • ECSに比べて抽象度が高い
    • キューに応じてスケーリング可能
    課題
    • AWS Batchの起動・停止オーバーヘッド
    • 今後はワークロードの差による効率化を検討
    • Step Functionsによるワークフロー管理
    学習・推論のAI処理
    

    View Slide

37. 36
    Flexibility
    • さまざまなアクセスパターンに対応可能
    Scalability
    • ワークロードやスケール処理のオフロード
    Agility
    • 開発サイクルの高速化・効率化
    • サーバー構築・管理・運用コストの削減
    Conclusions
    AIモデル開発にフォーカスできた
    

    View Slide

38. AIMINAのシステム構築について
    • Inf1インスタンスの導入検証
    

    View Slide

39. 38
    • AWS が設計開発した高機能の機械学習推論
    チップである AWS Inferentia チップを搭載
    • neuronSDKの使用が必要
    Inf1インスタンスとは
    インスタンスサイズ vCPU メモリ (GiB)
    インスタンススト
    レージ Inferentia チップ Inferentia チッ
    プ間相互接続
    ネットワーク帯域
    幅 (Gbps)
    EBS 帯域幅
    (Gbps)
    オンデマンドの料
    金
    1 年スタンダード
    リザーブドインス
    タンス
    3 年スタンダード
    リザーブドインス
    タンス
    inf1.xlarge 4 8 EBS のみ 1 該当なし 最大 25 最大 4.75 0.228 USD/時間 0.137 USD/時間 0.101 USD/時間
    inf1.2xlarge 8 16 EBS のみ 1 該当なし 最大 25 最大 4.75 0.362 USD/時間 0.217 USD/時間 0.161 USD/時間
    inf1.6xlarge 24 48 EBS のみ 4 有 25 4.75 1.180 USD/時間 0.709 USD/時間 0.525 USD/時間
    inf1.24xlarge 96 192 EBS のみ 16 有 100 19 4.721 USD/時間 2.835 USD/時間 2.099 USD/時間
    

    View Slide

40. 全体構成図
    

    View Slide

41. 40
    学習・推論のAI処理
    

    View Slide

42. 41
    対応AIモデル一覧
    

    View Slide

43. 42
    Inferentia検証
    対応AIモデル一覧
    

    View Slide

44. 43
    ・想定用途：チャットボット、受付ボット
    ・自然言語処理系
    ・PyTorch + Bert (Transformer) + adamw
    質問に対し、回答一覧候補から最適な回答を返却
    モデル：質疑応答 (Question Answering)
    

    View Slide

45. 44
    Benchmark Baseline
    Instance type chip Inferrence time (s) Throughput
    (q/s)
    Cost (usd/hr)
    m5a.2xlarge cpu 749.287 2.562 0.448
    g4dn.2xlarge gpu 235.825 8.1416 1.015
    ・推論データ量（質問数）：1920
    ・回答候補数：63
    ・推論回数（質問数 x 回答候補数）:120,960
    モデル：質疑応答 (Question Answering)
    

    View Slide

46. 45
    Neuron SDKを組み込み、いざ、実行！
    モデル：質疑応答 (Question Answering)
    

    View Slide

47. 46
    いざ、実行！
    Neuron SDKを組み込み、いざ、実行！
    エラー。。
    モデル：質疑応答 (Question Answering)
    

    View Slide

48. 47
    現在のNeuron SDKのMaxPool2Dでは
    4Dのinput tensor以外は未実装。
    AWSに相談し、以下で対応
    tensor = tensor[None,:,:,:]
    tensor = self.pooling(tensor)
    tensor = torch.squeeze(tensor, dim=0)
    ※今後、Neuron SDKのアップデートで改善予定とのフィードバックあり
    モデル：質疑応答 (Question Answering)
    

    View Slide

49. 48
    inf1.xlarge initial performance
    Instance
    type
    chip Inferrence time
    (s)
    Throughput
    (q/s)
    Cost
    (usd/hr)
    q/ 0.01usd
    m5a.2xlarge cpu 749.287 2.562 0.448 205.875
    g4dn.2xlarge gpu 235.825 8.1416 1.015 288.744
    Inf1.xlarge inf1 471.343 4.073 0.308 476.064
    gpuより遅いけど、コスパは良い。。？
    モデル：質疑応答 (Question Answering)
    

    View Slide

50. 49
    inferentia chip
    4 neuron cores/chip
    全部活用出来てない？
    モデル：質疑応答 (Question Answering)
    

    View Slide

51. 50
    inf1.xlarge – neuron-top
    1 coreしか使われてなかった
    モデル：質疑応答 (Question Answering)
    

    View Slide

52. 51
    複数coreをロードするように修正
    for _ in range(INF_CHIP_NUM):
    model = torch.jit.load(“qa.pt”)
    models.append(model)
    モデル：質疑応答 (Question Answering)
    

    View Slide

53. 52
    inf1.xlarge – neuron-top
    改修後、全coreの活用
    モデル：質疑応答 (Question Answering)
    

    View Slide

54. 53
    inf1.xlarge performance
    パフォーマンス向上！コスト効率はcore数に比例
    gpuと比較して
    ・約2倍の高速化
    ・3倍のコストダウン
    Instance
    type
    chip cores Inferrence time
    (s)
    Throughput
    (q/s)
    Cost
    (usd/hr)
    q/ 0.01usd
    m5a.2xlarge cpu 749.287 2.562 0.448 205.875
    g4dn.2xlarge gpu 235.825 8.141 1.015 288.744
    Inf1.xlarge inf1 1 471.343 4.073 0.308 476.064
    Inf1.xlarge inf1 4 119.958 16.005 0.308 1870.714
    モデル：質疑応答 (Question Answering)
    

    View Slide

55. 54
    inf1.6xlarge 4 chips
    改修前は1 coreのみだった
    モデル：質疑応答 (Question Answering)
    

    View Slide

56. 55
    inf1.6xlarge 4 chips x 4 cores
    改修後、4chip x 4 coreのフル活用
    モデル：質疑応答 (Question Answering)
    

    View Slide

57. 56
    他のinf1 typeのベンチマーク比較表
    Instance type chip Inferrence time (s) Throughput
    (q/s)
    Cost (usd/hr)
    m5a.2xlarge cpu 749.287 2.562 0.448
    g4dn.2xlarge gpu 235.825 8.1416 1.015
    Inf1.xlarge inf1 471.343 4.073 0.308
    Inf1.xlarge inf1 119.958 16.005 0.308
    Inf1.2xlarge inf1
    Inf1.2xlarge inf1
    Inf1.6xlarge inf1
    Inf1.6xlarge inf1
    Instance
    type
    chip cores Inferrence time
    (s)
    Throughput
    (q/s)
    Cost
    (usd/hr)
    q/ 0.01usd
    m5a.2xlarge cpu 749.287 2.562 0.448 205.875
    g4dn.2xlarge gpu 235.825 8.141 1.015 288.744
    Inf1.xlarge inf1 1 471.343 4.073 0.308 476.064
    Inf1.xlarge inf1 4 119.958 16.005 0.308 1870.714
    Inf1.2xlarge inf1 1 471.343 4.057 0.489 298.674
    Inf1.2xlarge inf1 4 119.487 16.068 0.489 1182.92
    Inf1.6xlarge inf1 1 472.809 4.060 1.695 86.230
    Inf1.6xlarge inf1 16 30.499 62.951 1.695 1337.012
    モデル：質疑応答 (Question Answering)
    

    View Slide

58. 57
    他のinf1 typeのベンチマーク比較図
    モデル：質疑応答 (Question Answering)
    

    View Slide

59. 58
    Conclusion
    Performance & Cost
    • gpuと比較して、性能・コスト面において優秀
    Ease of Implementation
    • Neuron SDKの組み込み・検証で1週間ほど
    Future Expectations
    • 今後、他のモデルで展開していきたい
    • 推論のみならず、学習用のTraniumの活用も視
    野に入れ検証していきたい
    

    View Slide

60. View Slide