ノーコードAI開発プラットフォーム「AIMINA」のシステム設計コンセプトと技術的チャレンジ

2023年3月16日に開催された「SoftBank Tech Night Fes 2023」の講演資料です。

誰でも手軽にAIを使うことができるプラットフォームが生まれました。 「AIで何かできないか？」「AIで試したいアイデアがある…」 ビジネスの最前線で悩むあなたに、AIを手軽に「学べる・作れる・試せる」クラウド型AIプラットフォーム「AIMINA」を事例を交えてご紹介します。当セッションの後半では、AIプラットフォーム「AIMINA」のシステムについて、システム設計コンセプトや技術的チャレンジをご紹介いたします。

■関連リンク
・AIプラットフォーム「AIMINA」
https://aimina.com/

・「AIMINA」YouTubeチャンネル
https://www.youtube.com/channel/UC5lRAm4_0MdJ9G0qCBa0bag

■作成者
渡邉 敬介（わたなべ けいすけ）
SB C&S株式会社
AIMINA事業推進室
室長

金井 良太（かない りょうた）
SB C&S株式会社
AIMINA事業推進室
エンジニア

■SoftBank Tech Nightについて
ソフトバンク株式会社のエンジニア有志が開催するテックイベントです。
各分野のエキスパートが、日頃培った技術や事例、知見について発信しています。
イベントは開催スケジュールはconnpassをご確認ください。
https://sbtechnight.connpass.com/

SoftBank Tech Night Fes 2023公式サイト
https://www.softbank.jp/biz/events/tech-night-fes-2023/

Transcript

1. / アイミナ ノーコード開発AIプラットフォーム AIMINAサービス紹介
2. 1. 会社紹介及び発表者紹介 2. AIMINA(アイミナ)とは • サービス紹介 • 活用事例 • 利用について 3. AIMINAのシステム構築について • システム設計コンセプト • 技術的チャレンジ アジェンダ
3. SB C&S株式会社 会社概要
4. 3 コンシューマ 法人 流通 ※従業員数は2020年4月現在 ※SB C&S株式会社 第6期（2020年3月期） 決算より（日本基準 単体） 売上 5,081億円 ヤフー 従業員数 1,865人 その他 ソフトバンクグループ 株式会社 戦略的持株会社 ソフトバンク株式会社 ソフトバンク事業の主要セグメントの一角を担う 投資事業 ファンド事業 SoftBank Vision Fund ソフトバンク事業 SB C&Sの位置づけ
5. 4 IoT Core Business Base Business Drone AI Robot Cloud New Focus Business License Package PC Peripheral etc Any Cloud Distribution Technical Support Post Support 販売パートナー 全国10,000社 取扱メーカー 4,000社 SB C&Sのビジネス
6. 5 渡邉 敬介 SB C&S株式会社 AIMINA事業推進室 室長 米国UNIVERSITY OF MIAMにてBBA取得 日本IBMにて営業及びマーケティング、 アパレル企業にて経営企画、 1年間かけアジアからアフリカまでバックパック、 米国へ移住しITコンサル企業にてシステムコンサル、 その後、2017年9月にSB C&S株式会社入社し、 202年4月より現職につく。 発表者紹介 金井 良太 SB C&S株式会社 AIMINA事業推進室 エンジニア エンジニアとしてiOSアプリケーションの開発や機 械学習関連のPJへの従事、 Kaggle参加などの経験を経て、 2021年8月にSB C&S株式会社に入社。 趣味は絵画や美術館巡り。
7. 6 AIMINA（アイミナ）とは • ノーコード開発AIプラットフォームの紹介
8. AIをみんなの手段に。 ここからはじまる、AIの新体験。 誰でも手軽にAIを使うことができるプラットフォームが生まれました。 「AIで何かできないか？」「AIで試したいアイデアがある…」 ビジネスの最前線で悩むあなたに、ぴったりの場所です。 AIMINAとは
9. AIMINAの特徴 AIを手軽に「学べる・作れる・試せる」 クラウド型AIプラットフォームの誕生です。 AIMINAは、情報発信も、モデル開発も、モデル評価もできるクラウドサービス。 AIについて学ぶことから、データを使ったシミュレーションまで、 幅広い使い方を想定して作られたのがAIMINAの特徴です。 AIに関して初歩から学びたい人も、持っているデータを使って今すぐ試したい人も。 ひとりひとりに合った使い方がきっと見るかるはず。 時間と開発費を最小限に、あなたのアイデアをAIで拡張してみませんか。
10. ノーコード開発 AIプラットフォーム 2022年5月より本格稼働後、約7か月間で ご興味いただいた方 ご利用いただいた方 さまざまな業種で活用 多くのみなさまにご利用いただいております！
11. 以上のモデルを搭載 結果を取得 お客様 データ AIを手軽に！ やりたいことを選んで データをドラッグ＆ドロップ 画像系 x ６ ・物体検知 ・画像分類 ・異常検知 ・ｾｸﾞﾒﾝﾃｰｼｮﾝ ・姿勢推定 など 言語系 x ４ ・QA *2モデル ・文書分類 ・文書要約 数値系 x １０ ・時系列予測 ・ﾃｰﾌﾞﾙ回帰予測 ・時系列異常検知 ・時系列ｸﾗｽﾀｰ ・離職者予測 など 音声系 x １
13. AIMINA活用事例 • 画像系、言語系、数値系などの活用事例 • 製造業、建設業、流通業、小売業、エネルギー、IT、公共など
14. ドラレコで撮影した物体(信号機、標識、 電柱など)をAIで検知 良品データをAIに学習させ、良品と異な る特徴をもったデータを識別 建設現場の安全管理として、 クレーン下の作業員を検知 公共測量事業 製造業 建設業 物体検知 プロジェクト毎に必要な AI開発を自社で運用！ 画像異常検知 検品作業の自動化で 生産コストを削減！ 物体検知 危険を検知することで 安全管理の向上！
15. 保守/メンテビジネス拡大に向けて 過去実績からオポチュニティ発掘 発注システムに登録された情報 をAIで分析可能なデータへ 社内の様々な部署で行われている 問合せ業務の効率化に挑戦 IT企業 流通業 製造業 QA（質疑応答） 3名体制の問合せ業務を 4割削減にチャレンジ！ 文書分類 活用できていなかった 社内データを有効活用！ 文書要約/文書分類 活用できていなかった 社内データから売上拡大！
16. 週次で作成するレポート業務を 時系列予測モデルで効率化 発電機の状態監視業務を 数値系AIモデルで効率化 社員属性及び勤怠情報から離職の 可能性がる属性を予測 流通業 電力・ガス業 IT企業 時系列予測 月16時間以上かかる レポート業務をAIで数分に！ 数値系AI 障害時対応を迅速にし、 安定性向上に向けた挑戦！ 離職者者予測 働き方改革が進む中 早めの社員ケアを！
17. AIMINAの使い方 • AIプロジェクトにおけるAIMINAの位置づけ • AIMINAが選ばれる理由 • フリートライアル紹介 • 教育＋AIMINA
18. 17 ▪AI活用アセスメント -AIで実現したい課題を定義 -AI活用スコープを定義 -データ要件定義 •PrePoCで実現性を確認 •結果をふまえ戦略策定 ▪プロジェクト計画 -ビジネスプランの作成 -プロジェクト体制構築 ▪社内承認 ▪データの収集 ▪データ分析 ▪データ作成 ▪モデルの設計 ▪学習 ▪精度検証・評価 ※繰り返し実施 ▪モデル構築 ▪AIモデル利用 クラウド/オンプレ ▪アプリケーション開発 ▪システム環境構築 ▪デプロイ ▪ユーザートレーニング ▪運用体制構築、稼働 ▪精度検証 ▪データ再収集 ▪データ作成 ▪モデル再構築 ▪再デプロイ 構想 データ収集 開発 運用 PoC データ収集／ アノテーション ／学習／評価 PoCを繰り返し 実用可能な精度へ AIプロジェクトの進め方
19. 18 ⚫ AIでやりたいことがどこまででできるのか？ ⚫ 業務効率化させたい内容はAIで解決できるのか？ ⚫ データは揃っているか？どのようなデータが必要か？ 構想 データ収集 開発 運用 PoC まずは試してみる！事前PoCの実施 事前PoCができれば プロジェクト化 に向けた構想フェーズ が進められます！ （要件定義、社内承認、予算化など） AIの目的 利用 AI手法 活用 データ AIMINAでできること１ プロジェクト化に向けた要件定義に
20. 19 お手持ちのデータでAIMINAでAIモデルを作って、 評価することで、実業務に最適なAIモデルを生成！ データ収集 開発 運用 PoC 画像系、言語系、 数値系など 20種ほどのAI を使って 繰り返しPoCを実施！ 構想 ノーコードでAI開発AIMINAでPoCの実施 複数種類の モデル生成 最適なデータ 作成 精度の比較 AIMINAでできること２ AI開発PoCをノーコードで実施
21. 20 AIMINAで作成した学習済AIモデルを使って 日々の運用し、最新のデータでモデルを更新。 データ収集 開発 運用 1. リアルタイム性を伴わない 月次の売上予測などは AIMINA上で実運用（推論） 2. リアルタイム性を伴う 生産ラインの画像異常検知などは モデルダウンロード機能で 学習済モデルをダウンロードし システムに組み込んで活用 *システムへの組込み開発はAIMINAサービス に含まれておりません 構想 AIMINAで作成したAIで実運用 AIMINA上で 実運用 モデルダウン ロード機能活用 PoC AIMINAでできること３ AIMINAと使って運用
22. ① 幅広い利用シーンに対応 ② 使いやすい ③ 低価格 ①幅広い利用シーン ②使いやすい ③低価格
23. 出荷予測による 在庫や欠品削減 回帰予測で不動 産/車両価格予 測 画像分類による 未装着検出 異常検知による 不良品検知 文書分類による メールの仕分け 質疑応答による 自動回答検証 需要予測AI 画像処理AI 文書処理AI 期間： 1か月 料金： 無料 利用時間： 60h/月 AIプラットフォーム「AIMINA」 フリートライアルプラン 受付中！ 20種類以上のAIを、今なら1か月間ご利用可能！ 試したかったAI開発を是非この機会に！
24. AIMINAのシステム構築について • システム設計コンセプト • 技術的チャレンジ
25. 24 Challenges • ユーザの挙動 • 気軽に試してもらいたい • 使われ方が未知数 • ワークロードの違い • 学習モデルによっては数分〜数日間 • 同じモデルでもデータ量に数分〜数日間 • 開発リソース • 人的リソースの制限や期間の制約 • AIモデル開発にフォーカスしたい
26. 25 Serverless サーバーの存在を意識せずに構築・運用保守をすること なく、必要なリソースを動的に利用するクラウド・コン ピューティングモデル
27. 26 Serverless • サーバーの構築 • OSセットアップ、ネットワークの設定 • ランタイムやミドルウェアのセットアップ • サーバーの運用管理 • キャパシティ • スケーラビリティ • 耐障害性 • セキュリティパッチ • ビジネスの差別化に繋がらない機能 • 認証 • APIスロットリング Undifferentiated Heavy Lifting （ビジネス価値を産まない作業）
28. 27 •開発効率の向上 •開発サイクルの高速化 •より本質的な機能に注力 Undifferentiated Heavy Lifting （ビジネス価値を産まない作業） • サーバーの構築 • OSセットアップ、ネットワークの設定 • ランタイムやミドルウェアのセットアップ • サーバーの運用管理 • キャパシティ • スケーラビリティ • 耐障害性 • セキュリティパッチ • ビジネスの差別化に繋がらない機能 • 認証 • APIスロットリング Serverless
29. 全体構成図
30. 全体構成図 (1) (2) (3)
31. 30 学習・推論データのアップロード
32. 31 SPA on s3/CloudFront • ウェブサーバーからの開放 API Gateway + Lambda + DynamoDB • 業務APIの高速開発 Cognito • 認証機構が不要 s3 presigned URL • ファイルのアップロードが簡単 学習・推論データのアップロード
33. 32 イベント駆動アンチウィルス＆キューイング
34. 33 S3 events + Lambda • イベント駆動により常時起動のサーバーが不要 • 拡張性が容易 SQS • 疎結合にし後続処理を分離 • 障害影響の分離 • 負荷の分散 イベント駆動アンチウィルス＆キューイング
35. 34 学習・推論のAI処理
36. 35 さまざまなワークロード • AWS Batch（GPU job）で対応 • ECSに比べて抽象度が高い • キューに応じてスケーリング可能 課題 • AWS Batchの起動・停止オーバーヘッド • 今後はワークロードの差による効率化を検討 • Step Functionsによるワークフロー管理 学習・推論のAI処理
37. 36 Flexibility • さまざまなアクセスパターンに対応可能 Scalability • ワークロードやスケール処理のオフロード Agility • 開発サイクルの高速化・効率化 • サーバー構築・管理・運用コストの削減 Conclusions AIモデル開発にフォーカスできた
38. AIMINAのシステム構築について • Inf1インスタンスの導入検証
39. 38 • AWS が設計開発した高機能の機械学習推論 チップである AWS Inferentia チップを搭載 • neuronSDKの使用が必要 Inf1インスタンスとは インスタンスサイズ vCPU メモリ (GiB) インスタンススト レージ Inferentia チップ Inferentia チッ プ間相互接続 ネットワーク帯域 幅 (Gbps) EBS 帯域幅 (Gbps) オンデマンドの料 金 1 年スタンダード リザーブドインス タンス 3 年スタンダード リザーブドインス タンス inf1.xlarge 4 8 EBS のみ 1 該当なし 最大 25 最大 4.75 0.228 USD/時間 0.137 USD/時間 0.101 USD/時間 inf1.2xlarge 8 16 EBS のみ 1 該当なし 最大 25 最大 4.75 0.362 USD/時間 0.217 USD/時間 0.161 USD/時間 inf1.6xlarge 24 48 EBS のみ 4 有 25 4.75 1.180 USD/時間 0.709 USD/時間 0.525 USD/時間 inf1.24xlarge 96 192 EBS のみ 16 有 100 19 4.721 USD/時間 2.835 USD/時間 2.099 USD/時間
40. 全体構成図
41. 40 学習・推論のAI処理
42. 41 対応AIモデル一覧
43. 42 Inferentia検証 対応AIモデル一覧
44. 43 ・想定用途：チャットボット、受付ボット ・自然言語処理系 ・PyTorch + Bert (Transformer) + adamw 質問に対し、回答一覧候補から最適な回答を返却 モデル：質疑応答 (Question Answering)
45. 44 Benchmark Baseline Instance type chip Inferrence time (s) Throughput (q/s) Cost (usd/hr) m5a.2xlarge cpu 749.287 2.562 0.448 g4dn.2xlarge gpu 235.825 8.1416 1.015 ・推論データ量（質問数）：1920 ・回答候補数：63 ・推論回数（質問数 x 回答候補数）:120,960 モデル：質疑応答 (Question Answering)
46. 45 Neuron SDKを組み込み、いざ、実行！ モデル：質疑応答 (Question Answering)
47. 46 いざ、実行！ Neuron SDKを組み込み、いざ、実行！ エラー。。 モデル：質疑応答 (Question Answering)
48. 47 現在のNeuron SDKのMaxPool2Dでは 4Dのinput tensor以外は未実装。 AWSに相談し、以下で対応 tensor = tensor[None,:,:,:] tensor = self.pooling(tensor) tensor = torch.squeeze(tensor, dim=0) ※今後、Neuron SDKのアップデートで改善予定とのフィードバックあり モデル：質疑応答 (Question Answering)
49. 48 inf1.xlarge initial performance Instance type chip Inferrence time (s) Throughput (q/s) Cost (usd/hr) q/ 0.01usd m5a.2xlarge cpu 749.287 2.562 0.448 205.875 g4dn.2xlarge gpu 235.825 8.1416 1.015 288.744 Inf1.xlarge inf1 471.343 4.073 0.308 476.064 gpuより遅いけど、コスパは良い。。？ モデル：質疑応答 (Question Answering)
50. 49 inferentia chip 4 neuron cores/chip 全部活用出来てない？ モデル：質疑応答 (Question Answering)
51. 50 inf1.xlarge – neuron-top 1 coreしか使われてなかった モデル：質疑応答 (Question Answering)
52. 51 複数coreをロードするように修正 for _ in range(INF_CHIP_NUM): model = torch.jit.load(“qa.pt”) models.append(model) モデル：質疑応答 (Question Answering)
53. 52 inf1.xlarge – neuron-top 改修後、全coreの活用 モデル：質疑応答 (Question Answering)
54. 53 inf1.xlarge performance パフォーマンス向上！コスト効率はcore数に比例 gpuと比較して ・約2倍の高速化 ・3倍のコストダウン Instance type chip cores Inferrence time (s) Throughput (q/s) Cost (usd/hr) q/ 0.01usd m5a.2xlarge cpu 749.287 2.562 0.448 205.875 g4dn.2xlarge gpu 235.825 8.141 1.015 288.744 Inf1.xlarge inf1 1 471.343 4.073 0.308 476.064 Inf1.xlarge inf1 4 119.958 16.005 0.308 1870.714 モデル：質疑応答 (Question Answering)
55. 54 inf1.6xlarge 4 chips 改修前は1 coreのみだった モデル：質疑応答 (Question Answering)
56. 55 inf1.6xlarge 4 chips x 4 cores 改修後、4chip x 4 coreのフル活用 モデル：質疑応答 (Question Answering)
57. 56 他のinf1 typeのベンチマーク比較表 Instance type chip Inferrence time (s) Throughput (q/s) Cost (usd/hr) m5a.2xlarge cpu 749.287 2.562 0.448 g4dn.2xlarge gpu 235.825 8.1416 1.015 Inf1.xlarge inf1 471.343 4.073 0.308 Inf1.xlarge inf1 119.958 16.005 0.308 Inf1.2xlarge inf1 Inf1.2xlarge inf1 Inf1.6xlarge inf1 Inf1.6xlarge inf1 Instance type chip cores Inferrence time (s) Throughput (q/s) Cost (usd/hr) q/ 0.01usd m5a.2xlarge cpu 749.287 2.562 0.448 205.875 g4dn.2xlarge gpu 235.825 8.141 1.015 288.744 Inf1.xlarge inf1 1 471.343 4.073 0.308 476.064 Inf1.xlarge inf1 4 119.958 16.005 0.308 1870.714 Inf1.2xlarge inf1 1 471.343 4.057 0.489 298.674 Inf1.2xlarge inf1 4 119.487 16.068 0.489 1182.92 Inf1.6xlarge inf1 1 472.809 4.060 1.695 86.230 Inf1.6xlarge inf1 16 30.499 62.951 1.695 1337.012 モデル：質疑応答 (Question Answering)
58. 57 他のinf1 typeのベンチマーク比較図 モデル：質疑応答 (Question Answering)
59. 58 Conclusion Performance & Cost • gpuと比較して、性能・コスト面において優秀 Ease of Implementation • Neuron SDKの組み込み・検証で1週間ほど Future Expectations • 今後、他のモデルで展開していきたい • 推論のみならず、学習用のTraniumの活用も視 野に入れ検証していきたい