Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ノーコードAI開発プラットフォーム「AIMINA」のシステム設計コンセプトと技術的チャレンジ

 ノーコードAI開発プラットフォーム「AIMINA」のシステム設計コンセプトと技術的チャレンジ

2023年3月16日に開催された「SoftBank Tech Night Fes 2023」の講演資料です。

誰でも手軽にAIを使うことができるプラットフォームが生まれました。 「AIで何かできないか?」「AIで試したいアイデアがある…」 ビジネスの最前線で悩むあなたに、AIを手軽に「学べる・作れる・試せる」クラウド型AIプラットフォーム「AIMINA」を事例を交えてご紹介します。当セッションの後半では、AIプラットフォーム「AIMINA」のシステムについて、システム設計コンセプトや技術的チャレンジをご紹介いたします。

■関連リンク
・AIプラットフォーム「AIMINA」
https://aimina.com/

・「AIMINA」YouTubeチャンネル
https://www.youtube.com/channel/UC5lRAm4_0MdJ9G0qCBa0bag

■作成者
渡邉 敬介(わたなべ けいすけ)
SB C&S株式会社
AIMINA事業推進室
室長

金井 良太(かない りょうた)
SB C&S株式会社
AIMINA事業推進室
エンジニア

■SoftBank Tech Nightについて
ソフトバンク株式会社のエンジニア有志が開催するテックイベントです。
各分野のエキスパートが、日頃培った技術や事例、知見について発信しています。
イベントは開催スケジュールはconnpassをご確認ください。
https://sbtechnight.connpass.com/

SoftBank Tech Night Fes 2023公式サイト
https://www.softbank.jp/biz/events/tech-night-fes-2023/

SoftBank Tech Night

March 16, 2023
Tweet

More Decks by SoftBank Tech Night

Other Decks in Technology

Transcript

  1. / アイミナ
    ノーコード開発AIプラットフォーム
    AIMINAサービス紹介

    View full-size slide

  2. 1. 会社紹介及び発表者紹介
    2. AIMINA(アイミナ)とは
    • サービス紹介
    • 活用事例
    • 利用について
    3. AIMINAのシステム構築について
    • システム設計コンセプト
    • 技術的チャレンジ
    アジェンダ

    View full-size slide

  3. SB C&S株式会社
    会社概要

    View full-size slide

  4. 3
    コンシューマ
    法人
    流通
    ※従業員数は2020年4月現在
    ※SB C&S株式会社 第6期(2020年3月期)
    決算より(日本基準 単体)
    売上
    5,081億円
    ヤフー
    従業員数
    1,865人
    その他
    ソフトバンクグループ
    株式会社
    戦略的持株会社
    ソフトバンク株式会社
    ソフトバンク事業の主要セグメントの一角を担う
    投資事業
    ファンド事業 SoftBank Vision Fund
    ソフトバンク事業
    SB C&Sの位置づけ

    View full-size slide

  5. 4
    IoT
    Core
    Business
    Base
    Business
    Drone
    AI
    Robot Cloud
    New Focus
    Business
    License Package PC Peripheral etc
    Any Cloud
    Distribution Technical Support Post Support
    販売パートナー
    全国10,000社
    取扱メーカー
    4,000社
    SB C&Sのビジネス

    View full-size slide

  6. 5
    渡邉 敬介
    SB C&S株式会社
    AIMINA事業推進室
    室長
    米国UNIVERSITY OF MIAMにてBBA取得
    日本IBMにて営業及びマーケティング、
    アパレル企業にて経営企画、
    1年間かけアジアからアフリカまでバックパック、
    米国へ移住しITコンサル企業にてシステムコンサル、
    その後、2017年9月にSB C&S株式会社入社し、
    202年4月より現職につく。
    発表者紹介
    金井 良太
    SB C&S株式会社
    AIMINA事業推進室
    エンジニア
    エンジニアとしてiOSアプリケーションの開発や機
    械学習関連のPJへの従事、
    Kaggle参加などの経験を経て、
    2021年8月にSB C&S株式会社に入社。
    趣味は絵画や美術館巡り。

    View full-size slide

  7. 6
    AIMINA(アイミナ)とは
    • ノーコード開発AIプラットフォームの紹介

    View full-size slide

  8. AIをみんなの手段に。
    ここからはじまる、AIの新体験。
    誰でも手軽にAIを使うことができるプラットフォームが生まれました。
    「AIで何かできないか?」「AIで試したいアイデアがある…」
    ビジネスの最前線で悩むあなたに、ぴったりの場所です。
    AIMINAとは

    View full-size slide

  9. AIMINAの特徴
    AIを手軽に「学べる・作れる・試せる」
    クラウド型AIプラットフォームの誕生です。
    AIMINAは、情報発信も、モデル開発も、モデル評価もできるクラウドサービス。
    AIについて学ぶことから、データを使ったシミュレーションまで、
    幅広い使い方を想定して作られたのがAIMINAの特徴です。
    AIに関して初歩から学びたい人も、持っているデータを使って今すぐ試したい人も。
    ひとりひとりに合った使い方がきっと見るかるはず。
    時間と開発費を最小限に、あなたのアイデアをAIで拡張してみませんか。

    View full-size slide

  10. ノーコード開発 AIプラットフォーム
    2022年5月より本格稼働後、約7か月間で
    ご興味いただいた方
    ご利用いただいた方
    さまざまな業種で活用
    多くのみなさまにご利用いただいております!

    View full-size slide

  11. 以上のモデルを搭載
    結果を取得
    お客様
    データ
    AIを手軽に!
    やりたいことを選んで
    データをドラッグ&ドロップ
    画像系
    x 6
    ・物体検知
    ・画像分類
    ・異常検知
    ・セグメンテーション
    ・姿勢推定
    など
    言語系
    x 4
    ・QA *2モデル
    ・文書分類
    ・文書要約
    数値系
    x 10
    ・時系列予測
    ・テーブル回帰予測
    ・時系列異常検知
    ・時系列クラスター
    ・離職者予測
    など
    音声系
    x 1

    View full-size slide

  12. AIMINA活用事例
    • 画像系、言語系、数値系などの活用事例
    • 製造業、建設業、流通業、小売業、エネルギー、IT、公共など

    View full-size slide

  13. ドラレコで撮影した物体(信号機、標識、
    電柱など)をAIで検知
    良品データをAIに学習させ、良品と異な
    る特徴をもったデータを識別
    建設現場の安全管理として、
    クレーン下の作業員を検知
    公共測量事業 製造業 建設業
    物体検知
    プロジェクト毎に必要な
    AI開発を自社で運用!
    画像異常検知
    検品作業の自動化で
    生産コストを削減!
    物体検知
    危険を検知することで
    安全管理の向上!

    View full-size slide

  14. 保守/メンテビジネス拡大に向けて
    過去実績からオポチュニティ発掘
    発注システムに登録された情報
    をAIで分析可能なデータへ
    社内の様々な部署で行われている
    問合せ業務の効率化に挑戦
    IT企業 流通業 製造業
    QA(質疑応答)
    3名体制の問合せ業務を
    4割削減にチャレンジ!
    文書分類
    活用できていなかった
    社内データを有効活用!
    文書要約/文書分類
    活用できていなかった
    社内データから売上拡大!

    View full-size slide

  15. 週次で作成するレポート業務を
    時系列予測モデルで効率化
    発電機の状態監視業務を
    数値系AIモデルで効率化
    社員属性及び勤怠情報から離職の
    可能性がる属性を予測
    流通業 電力・ガス業 IT企業
    時系列予測
    月16時間以上かかる
    レポート業務をAIで数分に!
    数値系AI
    障害時対応を迅速にし、
    安定性向上に向けた挑戦!
    離職者者予測
    働き方改革が進む中
    早めの社員ケアを!

    View full-size slide

  16. AIMINAの使い方
    • AIプロジェクトにおけるAIMINAの位置づけ
    • AIMINAが選ばれる理由
    • フリートライアル紹介
    • 教育+AIMINA

    View full-size slide

  17. 17
    ■AI活用アセスメント
    -AIで実現したい課題を定義
    -AI活用スコープを定義
    -データ要件定義
    ●PrePoCで実現性を確認
    ●結果をふまえ戦略策定
    ■プロジェクト計画
    -ビジネスプランの作成
    -プロジェクト体制構築
    ■社内承認
    ■データの収集
    ■データ分析
    ■データ作成
    ■モデルの設計
    ■学習
    ■精度検証・評価
    ※繰り返し実施
    ■モデル構築
    ■AIモデル利用
    クラウド/オンプレ
    ■アプリケーション開発
    ■システム環境構築
    ■デプロイ
    ■ユーザートレーニング
    ■運用体制構築、稼働
    ■精度検証
    ■データ再収集
    ■データ作成
    ■モデル再構築
    ■再デプロイ
    構想 データ収集 開発 運用
    PoC
    データ収集/
    アノテーション
    /学習/評価
    PoCを繰り返し
    実用可能な精度へ
    AIプロジェクトの進め方

    View full-size slide

  18. 18
    ⚫ AIでやりたいことがどこまででできるのか?
    ⚫ 業務効率化させたい内容はAIで解決できるのか?
    ⚫ データは揃っているか?どのようなデータが必要か?
    構想 データ収集 開発 運用
    PoC
    まずは試してみる!事前PoCの実施
    事前PoCができれば
    プロジェクト化
    に向けた構想フェーズ
    が進められます!
    (要件定義、社内承認、予算化など)
    AIの目的
    利用
    AI手法
    活用
    データ
    AIMINAでできること1 プロジェクト化に向けた要件定義に

    View full-size slide

  19. 19
    お手持ちのデータでAIMINAでAIモデルを作って、
    評価することで、実業務に最適なAIモデルを生成!
    データ収集 開発 運用
    PoC
    画像系、言語系、
    数値系など
    20種ほどのAI
    を使って
    繰り返しPoCを実施!
    構想
    ノーコードでAI開発AIMINAでPoCの実施
    複数種類の
    モデル生成 最適なデータ
    作成
    精度の比較
    AIMINAでできること2 AI開発PoCをノーコードで実施

    View full-size slide

  20. 20
    AIMINAで作成した学習済AIモデルを使って
    日々の運用し、最新のデータでモデルを更新。
    データ収集 開発 運用
    1. リアルタイム性を伴わない
    月次の売上予測などは
    AIMINA上で実運用(推論)
    2. リアルタイム性を伴う
    生産ラインの画像異常検知などは
    モデルダウンロード機能で
    学習済モデルをダウンロードし
    システムに組み込んで活用
    *システムへの組込み開発はAIMINAサービス
    に含まれておりません
    構想
    AIMINAで作成したAIで実運用
    AIMINA上で
    実運用 モデルダウン
    ロード機能活用
    PoC
    AIMINAでできること3 AIMINAと使って運用

    View full-size slide

  21. ① 幅広い利用シーンに対応
    ② 使いやすい
    ③ 低価格
    ①幅広い利用シーン ②使いやすい ③低価格

    View full-size slide

  22. 出荷予測による
    在庫や欠品削減
    回帰予測で不動
    産/車両価格予

    画像分類による
    未装着検出
    異常検知による
    不良品検知
    文書分類による
    メールの仕分け
    質疑応答による
    自動回答検証
    需要予測AI
    画像処理AI
    文書処理AI
    期間:
    1か月
    料金:
    無料
    利用時間:
    60h/月
    AIプラットフォーム「AIMINA」
    フリートライアルプラン 受付中!
    20種類以上のAIを、今なら1か月間ご利用可能!
    試したかったAI開発を是非この機会に!

    View full-size slide

  23. AIMINAのシステム構築について
    • システム設計コンセプト
    • 技術的チャレンジ

    View full-size slide

  24. 24
    Challenges
    • ユーザの挙動
    • 気軽に試してもらいたい
    • 使われ方が未知数
    • ワークロードの違い
    • 学習モデルによっては数分〜数日間
    • 同じモデルでもデータ量に数分〜数日間
    • 開発リソース
    • 人的リソースの制限や期間の制約
    • AIモデル開発にフォーカスしたい

    View full-size slide

  25. 25
    Serverless
    サーバーの存在を意識せずに構築・運用保守をすること
    なく、必要なリソースを動的に利用するクラウド・コン
    ピューティングモデル

    View full-size slide

  26. 26
    Serverless
    • サーバーの構築
    • OSセットアップ、ネットワークの設定
    • ランタイムやミドルウェアのセットアップ
    • サーバーの運用管理
    • キャパシティ
    • スケーラビリティ
    • 耐障害性
    • セキュリティパッチ
    • ビジネスの差別化に繋がらない機能
    • 認証
    • APIスロットリング
    Undifferentiated Heavy Lifting
    (ビジネス価値を産まない作業)

    View full-size slide

  27. 27
    •開発効率の向上
    •開発サイクルの高速化
    •より本質的な機能に注力
    Undifferentiated Heavy Lifting
    (ビジネス価値を産まない作業)
    • サーバーの構築
    • OSセットアップ、ネットワークの設定
    • ランタイムやミドルウェアのセットアップ
    • サーバーの運用管理
    • キャパシティ
    • スケーラビリティ
    • 耐障害性
    • セキュリティパッチ
    • ビジネスの差別化に繋がらない機能
    • 認証
    • APIスロットリング
    Serverless

    View full-size slide

  28. 全体構成図

    View full-size slide

  29. 全体構成図
    (1) (2) (3)

    View full-size slide

  30. 30
    学習・推論データのアップロード

    View full-size slide

  31. 31
    SPA on s3/CloudFront
    • ウェブサーバーからの開放
    API Gateway + Lambda + DynamoDB
    • 業務APIの高速開発
    Cognito
    • 認証機構が不要
    s3 presigned URL
    • ファイルのアップロードが簡単
    学習・推論データのアップロード

    View full-size slide

  32. 32
    イベント駆動アンチウィルス&キューイング

    View full-size slide

  33. 33
    S3 events + Lambda
    • イベント駆動により常時起動のサーバーが不要
    • 拡張性が容易
    SQS
    • 疎結合にし後続処理を分離
    • 障害影響の分離
    • 負荷の分散
    イベント駆動アンチウィルス&キューイング

    View full-size slide

  34. 34
    学習・推論のAI処理

    View full-size slide

  35. 35
    さまざまなワークロード
    • AWS Batch(GPU job)で対応
    • ECSに比べて抽象度が高い
    • キューに応じてスケーリング可能
    課題
    • AWS Batchの起動・停止オーバーヘッド
    • 今後はワークロードの差による効率化を検討
    • Step Functionsによるワークフロー管理
    学習・推論のAI処理

    View full-size slide

  36. 36
    Flexibility
    • さまざまなアクセスパターンに対応可能
    Scalability
    • ワークロードやスケール処理のオフロード
    Agility
    • 開発サイクルの高速化・効率化
    • サーバー構築・管理・運用コストの削減
    Conclusions
    AIモデル開発にフォーカスできた

    View full-size slide

  37. AIMINAのシステム構築について
    • Inf1インスタンスの導入検証

    View full-size slide

  38. 38
    • AWS が設計開発した高機能の機械学習推論
    チップである AWS Inferentia チップを搭載
    • neuronSDKの使用が必要
    Inf1インスタンスとは
    インスタンスサイズ vCPU メモリ (GiB)
    インスタンススト
    レージ Inferentia チップ Inferentia チッ
    プ間相互接続
    ネットワーク帯域
    幅 (Gbps)
    EBS 帯域幅
    (Gbps)
    オンデマンドの料

    1 年スタンダード
    リザーブドインス
    タンス
    3 年スタンダード
    リザーブドインス
    タンス
    inf1.xlarge 4 8 EBS のみ 1 該当なし 最大 25 最大 4.75 0.228 USD/時間 0.137 USD/時間 0.101 USD/時間
    inf1.2xlarge 8 16 EBS のみ 1 該当なし 最大 25 最大 4.75 0.362 USD/時間 0.217 USD/時間 0.161 USD/時間
    inf1.6xlarge 24 48 EBS のみ 4 有 25 4.75 1.180 USD/時間 0.709 USD/時間 0.525 USD/時間
    inf1.24xlarge 96 192 EBS のみ 16 有 100 19 4.721 USD/時間 2.835 USD/時間 2.099 USD/時間

    View full-size slide

  39. 全体構成図

    View full-size slide

  40. 40
    学習・推論のAI処理

    View full-size slide

  41. 41
    対応AIモデル一覧

    View full-size slide

  42. 42
    Inferentia検証
    対応AIモデル一覧

    View full-size slide

  43. 43
    ・想定用途:チャットボット、受付ボット
    ・自然言語処理系
    ・PyTorch + Bert (Transformer) + adamw
    質問に対し、回答一覧候補から最適な回答を返却
    モデル:質疑応答 (Question Answering)

    View full-size slide

  44. 44
    Benchmark Baseline
    Instance type chip Inferrence time (s) Throughput
    (q/s)
    Cost (usd/hr)
    m5a.2xlarge cpu 749.287 2.562 0.448
    g4dn.2xlarge gpu 235.825 8.1416 1.015
    ・推論データ量(質問数):1920
    ・回答候補数:63
    ・推論回数(質問数 x 回答候補数):120,960
    モデル:質疑応答 (Question Answering)

    View full-size slide

  45. 45
    Neuron SDKを組み込み、いざ、実行!
    モデル:質疑応答 (Question Answering)

    View full-size slide

  46. 46
    いざ、実行!
    Neuron SDKを組み込み、いざ、実行!
    エラー。。
    モデル:質疑応答 (Question Answering)

    View full-size slide

  47. 47
    現在のNeuron SDKのMaxPool2Dでは
    4Dのinput tensor以外は未実装。
    AWSに相談し、以下で対応
    tensor = tensor[None,:,:,:]
    tensor = self.pooling(tensor)
    tensor = torch.squeeze(tensor, dim=0)
    ※今後、Neuron SDKのアップデートで改善予定とのフィードバックあり
    モデル:質疑応答 (Question Answering)

    View full-size slide

  48. 48
    inf1.xlarge initial performance
    Instance
    type
    chip Inferrence time
    (s)
    Throughput
    (q/s)
    Cost
    (usd/hr)
    q/ 0.01usd
    m5a.2xlarge cpu 749.287 2.562 0.448 205.875
    g4dn.2xlarge gpu 235.825 8.1416 1.015 288.744
    Inf1.xlarge inf1 471.343 4.073 0.308 476.064
    gpuより遅いけど、コスパは良い。。?
    モデル:質疑応答 (Question Answering)

    View full-size slide

  49. 49
    inferentia chip
    4 neuron cores/chip
    全部活用出来てない?
    モデル:質疑応答 (Question Answering)

    View full-size slide

  50. 50
    inf1.xlarge – neuron-top
    1 coreしか使われてなかった
    モデル:質疑応答 (Question Answering)

    View full-size slide

  51. 51
    複数coreをロードするように修正
    for _ in range(INF_CHIP_NUM):
    model = torch.jit.load(“qa.pt”)
    models.append(model)
    モデル:質疑応答 (Question Answering)

    View full-size slide

  52. 52
    inf1.xlarge – neuron-top
    改修後、全coreの活用
    モデル:質疑応答 (Question Answering)

    View full-size slide

  53. 53
    inf1.xlarge performance
    パフォーマンス向上!コスト効率はcore数に比例
    gpuと比較して
    ・約2倍の高速化
    ・3倍のコストダウン
    Instance
    type
    chip cores Inferrence time
    (s)
    Throughput
    (q/s)
    Cost
    (usd/hr)
    q/ 0.01usd
    m5a.2xlarge cpu 749.287 2.562 0.448 205.875
    g4dn.2xlarge gpu 235.825 8.141 1.015 288.744
    Inf1.xlarge inf1 1 471.343 4.073 0.308 476.064
    Inf1.xlarge inf1 4 119.958 16.005 0.308 1870.714
    モデル:質疑応答 (Question Answering)

    View full-size slide

  54. 54
    inf1.6xlarge 4 chips
    改修前は1 coreのみだった
    モデル:質疑応答 (Question Answering)

    View full-size slide

  55. 55
    inf1.6xlarge 4 chips x 4 cores
    改修後、4chip x 4 coreのフル活用
    モデル:質疑応答 (Question Answering)

    View full-size slide

  56. 56
    他のinf1 typeのベンチマーク比較表
    Instance type chip Inferrence time (s) Throughput
    (q/s)
    Cost (usd/hr)
    m5a.2xlarge cpu 749.287 2.562 0.448
    g4dn.2xlarge gpu 235.825 8.1416 1.015
    Inf1.xlarge inf1 471.343 4.073 0.308
    Inf1.xlarge inf1 119.958 16.005 0.308
    Inf1.2xlarge inf1
    Inf1.2xlarge inf1
    Inf1.6xlarge inf1
    Inf1.6xlarge inf1
    Instance
    type
    chip cores Inferrence time
    (s)
    Throughput
    (q/s)
    Cost
    (usd/hr)
    q/ 0.01usd
    m5a.2xlarge cpu 749.287 2.562 0.448 205.875
    g4dn.2xlarge gpu 235.825 8.141 1.015 288.744
    Inf1.xlarge inf1 1 471.343 4.073 0.308 476.064
    Inf1.xlarge inf1 4 119.958 16.005 0.308 1870.714
    Inf1.2xlarge inf1 1 471.343 4.057 0.489 298.674
    Inf1.2xlarge inf1 4 119.487 16.068 0.489 1182.92
    Inf1.6xlarge inf1 1 472.809 4.060 1.695 86.230
    Inf1.6xlarge inf1 16 30.499 62.951 1.695 1337.012
    モデル:質疑応答 (Question Answering)

    View full-size slide

  57. 57
    他のinf1 typeのベンチマーク比較図
    モデル:質疑応答 (Question Answering)

    View full-size slide

  58. 58
    Conclusion
    Performance & Cost
    • gpuと比較して、性能・コスト面において優秀
    Ease of Implementation
    • Neuron SDKの組み込み・検証で1週間ほど
    Future Expectations
    • 今後、他のモデルで展開していきたい
    • 推論のみならず、学習用のTraniumの活用も視
    野に入れ検証していきたい

    View full-size slide