LF AI & Dataプロジェクトの最新状況 ＆試して分かった知見共有

Transcript

1. ©Hitachi, Ltd. 2025. All rights reserved LF AI & Dataプロジェクトの最新状況 ＆試して分かった知見共有 LF AI & Data Japan Regional User Group (RUG) Meet-Up Jun. 20, 2025 伊藤 哲 Services Computing Research Dept. Digital Infrastructure Center Research & Development Group, Hitachi, Ltd.
2. ©Hitachi, Ltd. 2025. All rights reserved 2 名前：伊藤 哲（Ito Satoshi） 所属：日立製作所 研究開発グループ サービスコンピューティング研究部 アクティビティ： ⚫ ブロックチェーン及び分散台帳に関する研究開発に従事 ⬦ SSI/DIDやNon-Fungible Token活用など ⚫ 2022年よりOSS(Linux Foundation傘下のプロジェクト)への貢献活動を開始 ⬦ LF Decentralized TrustのHyperledger Fabric(コンソーシアム型ブロックチェーン)など ⚫ 生成AIに関する研究開発に従事 自己紹介 SSI：Self-sovereign Identity DID：Decentralized Identifier
3. ©Hitachi, Ltd. 2025. All rights reserved 3 1. LF AI & Dataの最新状況(2025/04調べ) 2. 各プロジェクトに関して 3. おわりに コンテンツ
4. ©Hitachi, Ltd. 2025. All rights reserved LF AI & Dataの概要 4 目的 ⚫ 人工知能(AI)およびデータ領域におけるオープンソース・イノベーションを推進すること ⚫ AI、機械学習(ML)、ディープラーニング(DL)、データ技術のOSSプロジェクトを中立的な立場で支援・育成 参加企業 ⚫ Premier Members(9社)、General Members(22社)、Associate(42社) ⬦ 日本企業からは、富士通がGeneral Memberとして参画 ⬦ 他有名どころとしては、NVIDIA、Amazon、Intel、Microsoft、Alibaba、IBMなどが参画 管理されているプロジェクト ⚫ 67個(2025/04時点)のOSSプロジェクトが管理されている ⚫ プロジェクトの成熟度に応じてライフサイクルが定義されている ⚫ Sandbox(26プロジェクト)、Incubation(28プロジェクト)、Graduated(11プロジェクト)、Archive(2プロジェクト) 1. LF AI & Dataの最新状況(2025/04調べ)
5. ©Hitachi, Ltd. 2025. All rights reserved LF AI & Dataの概要 5 目的 ⚫ 人工知能(AI)およびデータ領域におけるオープンソース・イノベーションを推進すること ⚫ AI、機械学習(ML)、ディープラーニング(DL)、データ技術のOSSプロジェクトを中立的な立場で支援・育成 参加企業 ⚫ Premier Members(9社)、General Members(22社)、Associate(42社) ⬦ 日本企業からは、富士通がGeneral Memberとして参画 ⬦ 他有名どころとしては、NVIDIA、Amazon、Intel、Microsoft、Alibaba、IBMなどが参画 管理されているプロジェクト ⚫ 67個(2025/04時点)のOSSプロジェクトが管理されている ⚫ プロジェクトの成熟度に応じてライフサイクルが定義されている ⚫ Sandbox(26→23)、Incubation(28→26)、Graduated(11→12)、Archive(2→10) 1. LF AI & Dataの最新状況(2025/04調べ)
6. ©Hitachi, Ltd. 2025. All rights reserved プロジェクトライフサイクル 1/3 6 Sandbox(26 PJ) ⚫ 初期段階のプロジェクト ⚫ 要件 ⬦ LF AI & Data の目的およびミッションに適合していること ⬦ 既存の LF AI & Data メンバーであるスポンサーがいること/新たな組織が LF AI & Data に加入し、プロジェクトのインキュ ベーション申請をスポンサーすること ⬦ オープンで文書化された技術ガバナンスを有していること ⬦ OSI 承認のライセンスを有していること ⬦ オープンガバナンスモデルを採用し、技術憲章（Technical Charter）に文書化し、Linux Foundation に資産を移管す るためのプロジェクト貢献契約に署名していること 1. LF AI & Dataの最新状況(2025/04調べ)
7. ©Hitachi, Ltd. 2025. All rights reserved プロジェクトライフサイクル 2/3 7 Incubation(28 PJ) ⚫ 一定のユーザーや開発者コミュニティを持つプロジェクト ⚫ 技術的な成長と安定性を目指す段階 ⚫ 要件 ⬦ 少なくとも3つの組織がプロジェクトに積極的に貢献していること ⬦ 議長が明確で、オープンかつ透明なコミュニケーションが行われている技術運営委員会（TSC）が定義されていること ⬦ GitHub 上で少なくとも500スターを獲得していること ⬦ OpenSSF ベストプラクティスバッジプログラム（シルバー）を取得・維持していること 1. LF AI & Dataの最新状況(2025/04調べ)
8. ©Hitachi, Ltd. 2025. All rights reserved プロジェクトライフサイクル 3/3 8 Graduated(11 PJ) ⚫ 成熟したプロジェクト ⚫ 広範な採用実績と活発なコミュニティ活動 ⚫ 要件 ⬦ 少なくとも5つの組織から健全な量のコード貢献があること ⬦ GitHub 上で少なくとも1000スターを獲得していること ⬦ OpenSSF ベストプラクティスバッジプログラム（ゴールド）を取得・維持していること ⬦ 過去12か月間にわたり、継続的なコミットおよびマージされた貢献があること ⬦ 他の LF AI & Data ホストプロジェクトとの協業を少なくとも1回行っていること 1. LF AI & Dataの最新状況(2025/04調べ)
9. ©Hitachi, Ltd. 2025. All rights reserved パッチ数から見るプロジェクトの比較 (過去5年) 9 1. LF AI & Dataの最新状況(2025/04調べ) 0 1000 2000 3000 4000 5000 6000 FY20_H1 FY20_H2 FY21_H1 FY21_H2 FY22_H1 FY22_H2 FY23_H1 FY23_H2 FY24_H1 FY24_H2 Milvus IREE Egeria Fate Adversarial Robustness Toolbox vLLM Flyte Delta Lake Recommenders Feast DLRover Kedro Ludwig DeepSpeed OpenLineage NNStreamer CLAIMED DeepRec Marquez Amundsen Elyra Onnx DocArray FlagAI JanusGraph Sparklyr Kserve Kompute LakeSoul DeepCausality RWKV OpenFL Xtreme1 Open Platform for Enterprise AI Horovod Artigraph Feathr Pyro Angel ML OpenDS4ALL Substra Datashim BeyondML Bitol AI Explainability 360 Adlik RYOMA RosaeNLG Monocle Machine Learning eXchange AI Fairness 360 SOAJS TonY Delta SapientML OpenDataology Elastic Deep Learning 1chipML Open Voice Interoperability Intersectional Fairness ForestFlow Open Voice TrustMark OAAX OpenBytes ShaderNN
10. ©Hitachi, Ltd. 2025. All rights reserved パッチ数から見るプロジェクトの比較(上位1~5) 10 Milvus：ベクトルデータベース ⚫ 2020/01に寄贈 | Graduatedプロジェクト IREE：マルチプラットフォームMLランタイム ⚫ 2024/05に寄贈 | Sandboxプロジェクト Egeria：メタデータ管理・データガバナンス ⚫ 2020/11に寄贈 | Graduatedプロジェクト Fate：フェデレーテッドラーニング ⚫ 2022/08に寄贈 | Incubationプロジェクト Adversarial Robustness Toolbox：セキュリティ評価と防御 ⚫ 2020/06に寄贈 | Graduatedプロジェクト 1. LF AI & Dataの最新状況(2025/04調べ) 0 1000 2000 3000 4000 5000 6000 FY20_H1 FY20_H2 FY21_H1 FY21_H2 FY22_H1 FY22_H2 FY23_H1 FY23_H2 FY24_H1 FY24_H2 Milvus IREE Egeria Fate Adversarial Robustness Toolbox
11. ©Hitachi, Ltd. 2025. All rights reserved パッチ数から見るプロジェクトの比較(上位5~10) 11 vLLM：高速LLM推論 ⚫ 2024/07に寄贈 | Incubationプロジェクト ⬦ 2025/05/07にPyTorch Foundationに移行 Flyte：MLワークフローオーケストレーション ⚫ 2021/02に寄贈 | Graduatedプロジェクト Delta Lake：ACIDトランザクション付きデータレイク ⚫ 2025/01に寄贈 | Incubationプロジェクト Recommenders： ⚫ 2023/06に寄贈 | Sandboxプロジェクト Feast：フィーチャーストア ⚫ 2020/09に寄贈 | Incubationプロジェクト 1. LF AI & Dataの最新状況(2025/04調べ) 0 1000 2000 3000 4000 5000 6000 FY20_H1 FY20_H2 FY21_H1 FY21_H2 FY22_H1 FY22_H2 FY23_H1 FY23_H2 FY24_H1 FY24_H2 vLLM Flyte Delta Lake Recommenders Feast
12. ©Hitachi, Ltd. 2025. All rights reserved パッチ数から見るプロジェクトの比較 (過去2年の上位10プロジェクト) 12 1. LF AI & Dataの最新状況(2025/04調べ) 0 500 1000 1500 2000 2500 3000 FY23_H1 FY23_H2 FY24_H1 FY24_H2 vLLM Milvus IREE Fate CLAIMED Delta Lake DLRover Flyte Egeria DeepSpeed vLLM：2024/07に寄贈 | Incubationプロジェクト Milvus：2020/01に寄贈 | Graduatedプロジェクト IREE：2024/05に寄贈 | Sandboxプロジェクト Fate：2022/08に寄贈 | Incubationプロジェクト CLAIMED：2022/11に寄贈 | Sandboxプロジェクト DeltaLake：2025/01に寄贈 | Incubationプロジェクト DLRover：2024/09に寄贈 | Sandboxプロジェクト Flyte：2021/02に寄贈 | Graduatedプロジェクト Egeria：2020/11に寄贈 | Graduatedプロジェクト DeepSpeed：2025/01に寄贈 | Incubationプロジェクト
13. ©Hitachi, Ltd. 2025. All rights reserved OSSスタックマップ 13 LF AI & Data傘下かつパッチ投稿数が多 いプロジェクトに関してスタックマップを作成 ⚫ 学習前/学習・構築/運用 ⬦ プロジェクトによっては複数のレイ ヤーにわたってサポートもされている ⚫ OSSの組み合わせ観点としては、上記 レイヤー毎での組み合わせが考えられる ⚫ 学習前や運用関連のプロジェクトは Incubation/Graduatedが多い ⚫ 学習・構築関連のプロジェクトは Sandboxが多い 1. LF AI & Dataの最新状況(2025/04調べ)
14. ©Hitachi, Ltd. 2025. All rights reserved Adversarial Robustness Toolboxの概要 14 概要 ⚫ AIセキュリティのためのライブラリ ⚫ 回避(Evasion)、汚染(Poisoning)、抽出(Extraction)、推論(Interface)の敵対的攻撃に 対する 防御、評価、認証、検証を行える ⚫ 一般的な機械学習フレームワークに対応 ⬦ TensorFlow、Keras、PyTorch、MXNet、scikit-learn、XGBoost、LightGBM、 CatBoost、Gpy ⚫ 画像、表、音声、ビデオなどのデータ型に対応 ⚫ 分類、物体検出、音声認識、生成、認証などの機械学習タスクをサポート 開発言語 ⚫ Python 2. 各プロジェクトに関して [1]: https://github.com/Trusted-AI/adversarial-robustness-toolbox [2]: https://adversarial-robustness-toolbox.readthedocs.io/en/latest/ [3] https://github.com/Trusted-AI/adversarial-robustness-toolbox/wiki
15. ©Hitachi, Ltd. 2025. All rights reserved 当日投影のみ Adversarial Robustness Toolboxのデモンストレーション 15 2. 各プロジェクトに関して
16. ©Hitachi, Ltd. 2025. All rights reserved DeepCausalityの概要 16 概要 ⚫ コンテキストに応じた迅速かつ決定論的な因果推論を可能するライブラリ ⬦ 低い計算コストでリアルタイムに多数のデータフィードを分析し、時間や空間をまたぐデータに対して柔軟に対応可能 ⚫ 適用例：IoTやクラウドの動的制御システム/金融業界の動的市場モデル ⬦ 元は金融分野での利用を目的として開発が行われたプロジェクト ⚫ 計算因果性に基づいているため、従来の深層学習(非決定論的)と異なる利点 ⬦ データ分布に依存しない ⬦ 決定論的な推論 ⬦ 少量のデータでの推論が可能 ⚫ コアアーキテクチャ(4つの層：観測層、仮定層、推論層、因果層) 開発言語 ⚫ Rust 2. 各プロジェクトに関して [1]: https://github.com/deepcausality-rs/deep_causality [2]: https://deepcausality.com/
17. ©Hitachi, Ltd. 2025. All rights reserved DeepCausalityのデモンストレーション 17 2. 各プロジェクトに関して 当日投影のみ
18. ©Hitachi, Ltd. 2025. All rights reserved OpenLineageの概要 18 概要 ⚫ Data Lineageの収集・分析における標準化プロジェクト ⬦ Data Lineage：データの発生から加工を経てエンドユーザーがそのデータを利活用できるようになったことを明示したメタ データの一種 ⚫ OpenLineageはAPIの仕様を定めており、参照実装としてMarquezがLF AI & Data傘下のOSSとして公開されている ⬦ Marquezは、メタデータの収集・集約・可視化を行うOSS ⬦ Dockerを利用して簡単にセットアップが可能 ⬦ WebUIも提供されており、Lineage情報を視覚的に確認可能 ⚫ 他システムとの統合が進められている ⬦ Apache Airflow、Apache Flink、Apache Spark、Dagster、 dbt ⚫ OpenLineageにより可観測性を高めデータの流れを明確化 2. 各プロジェクトに関して [1]: https://github.com/OpenLineage [2]: https://openlineage.io/
19. ©Hitachi, Ltd. 2025. All rights reserved OpenLineage(Marquez)のデモンストレーション 19 2. 各プロジェクトに関して 当日投影のみ
20. ©Hitachi, Ltd. 2025. All rights reserved 20 LF AI & Data傘下のプロジェクト最新状況 ⚫ プロジェクトライフサイクル ⚫ パッチ投稿数からの分析 ⚫ OSSスタックマップのご紹介 プロジェクトに関する概要及びデモンストレーション ⚫ Adversarial Robustness Toolbox ⬦ 各種攻撃・防御手法対応、広いML対応 ⚫ DeepCausality ⬦ 統計と因果推論を融合 ⚫ OpenLineage(Marquez) ⬦ SparkやAirflow等と連携可能 3. おわりに
21. ©Hitachi, Ltd. 2025. All rights reserved 21 ⚫ Linux Foundation、Hyperledger、Hyperledger FabricはThe Linux Foundationの商標または登録商標です ⚫ GitHubは、GitHub Inc.の商標または登録商標です ⚫ その他記載の会社名、製品名、サービス名、その他固有名詞は、それぞれの会社の商標または登録商標です ⚫ 本発表中の文章、図では、TM、®マークは表記しておりません Trademarks
22. ©Hitachi, Ltd. 2025. All rights reserved 22