パナソニックコネクトが進める機械学習ライブラリのOSS開発

第85回 Machine Learning 15 mintutes! での登壇資料です。
一般化線形モデル（GLM）に似た構造をもつ機械学習モデルであるCyclic boostingをOSS化して誰でも無料で商用利用できるようにしています。サクッと観測データの傾向を掴める高い説明性が売りです！ぜひお試しください！

Transcript

1. パナソニックコネクト株式会社 技術研究開発本部 知能システム研究所 瀬戸口 直輝 パナソニックコネクトが進める 機械学習モデルのOSS開発 2024年1月27日 Machine Learning 15minutes
2. 2 ©️ Panasonic Connect Co., Ltd. 2024 自己紹介 AI R&D スペシャリスト 瀬戸口 直輝 2017 2019 2019 2022 福岡大学でハードとソフトの基礎を幅広くやる。🤖に憧れる 九州大学で画像系ML/DLの道へ。歩容認証の研究で修士号取得 パナソニック㈱ 入社 R&D部門で画像処理 x DNNの先行開発を担当 パナソニックコネクト㈱に事業会社化 BlueYonderとの共同研究、需要予測アルゴリズム開発をリード 画像の ノイズ除去 画像内の 注目領域推定 業務例 製造現場の 分析ツール開発 需要予測 アルゴリズム開発 @setorontist
3. 3 ©️ Panasonic Connect Co., Ltd. 2024 本日のメッセージ オープンソースの予測モデルであるCyclic boostingをぜひ使ってみてください！ なぜパナソニックコネクトが OSS開発をするのか Cyclic boostingとは何ぞや？ ここがスゴイぞ！ 内容
4. 4 ©️ Panasonic Connect Co., Ltd. 2024 第壱話 パ ナ 変革
5. 5 ©️ Panasonic Connect Co., Ltd. 2024 会社概要 パナソニック コネクト株式会社 Panasonic Connect Co., Ltd. 〒104-0061 東京都中央区銀座8丁目21番1号 住友不動産汐留浜離宮ビル 03-5565-8700（代表） https://connect.panasonic.com 2022年4月1日 樋口泰行 「サプライチェーン」 「公共サービス」 「生活インフラ」 「エンターテインメント」 分野向け機器・ソフトウェアの開発 / 製造 / 販売、並びに、 システムインテグレーション / 施工 / 保守・メンテナンス、 およびサービスを含むソリューションの提供 約29,500名 国内 約12,500人 / 海外 16,000人（2023年4月1日現在） 1兆 1,257憶円（2022年度） 国内事業所 13（含む工場5箇所) 国内関連会社 11 海外事業所 24 （2023年4月1日現在） 名称 英文名称 所在地 Tel Web 設立 プレジデント 事業内容 従業員数 売上高 拠点数
6. 6 ©️ Panasonic Connect Co., Ltd. 2024 Our Purpose
7. 7 ©️ Panasonic Connect Co., Ltd. 2024 パナソニック コネクトの4つの事業領域 Entertainment エンターテインメント スタジアム / 放送 / イベント 04 Public 公共サービス 学校 / 警察 / 自治体 02 Infrastructure 生活インフラ 航空 / 鉄道 / エネルギー 03 Supply Chain サプライチェーン 製造 / 物流 / 流通 01
8. 8 ©️ Panasonic Connect Co., Ltd. 2024 Supply Chain サプライチェーン 製造 / 物流 / 流通 • 現場課題を可視化するセンシング、AI、ロボティクスなどのテクノロジー • 専鋭化されたハードウェアとBlue Yonderの Luminate™ ソフトウェアの融合 • 製造業として100年以上にわたり蓄積してきた知見で現場を最適化する 「インダストリアルエンジニアリング」 • お客様のビジネスと生活者をエンドツーエンドで最適化する統合ソリューション 01
9. 9 ©️ Panasonic Connect Co., Ltd. 2024 サプライチェーンのさらなる強化のために Blue Yonderとのこれまでの関係強化を通じ、オートノマスサプライチェーンの実現を目指す 世界最大のサプライチェーン・ソフトウェア専門企業 78ヶ国 でビジネスを展開 3000+社 グローバル 顧客 61社/100 Global Top 製造業 2019.11 協業開始 2020.7 20%出資 2021.9 全株式取得完了 11社/15 Global Top 物流業 68社/100 Global Top 小売業
10. 10 ©️ Panasonic Connect Co., Ltd. 2024 オートノマスサプライチェーン™ SCMソフトウェアプラットフォームと、エッジデバイス・IoTと融合し、 オートノマス（自律的な）サプライチェーンを実現
11. 11 ©️ Panasonic Connect Co., Ltd. 2024 SCMソリューションプロバイダーへの変革 ハードウェア中心の開発プロセスからの脱却 出典：https://connect.panasonic.com/jp-ja/about/who-we-are/research CTO 榊原さん
12. 12 ©️ Panasonic Connect Co., Ltd. 2024 パナソニックコネクトが生まれ変わるための企業課題 ソフトウェアケーパビリティの向上 • 開発スピードの加速 • 顧客FBの即時反映 • ソフトウェア技術の 研究開発力の強化 • ソリューション プロバイダーとしての 知名度の向上
13. 13 ©️ Panasonic Connect Co., Ltd. 2024 オープンソースソフトウェア（OSS）開発にチャレンジ パナソニックコネクトとして初めてOSS開発を推進 ソフトウェアを持続的に進化させるノウハウや先端技術を社外から学ぶ • モダンな開発環境の 構築（CI/CDなど） • 開発プロセスの 標準化 • 共創による研究開発 • 継続的なソフトウェア のメンテ体制の構築 • ソフトウェア開発、 AI活用に強みがある 企業という認知の獲得
14. 14 ©️ Panasonic Connect Co., Ltd. 2024 OSS開発＝ひとつなぎの大秘宝（ONE PIECE) ありったけの夢をかき集め、探し物を探しに行く旅の始まり • モダンな開発環境の 構築（CI/CDなど） • 開発プロセスの 標準化 • 共創による研究開発 • 継続的なソフトウェア のメンテ体制の構築 • ソフトウェア開発、 AI活用に強みがある 企業という認知の獲得 富 名声 力
15. 15 ©️ Panasonic Connect Co., Ltd. 2024 第弐話 boosting Cyclic
16. 16 ©️ Panasonic Connect Co., Ltd. 2024 オートノマスサプライチェーン™ SCMソフトウェアプラットフォームと、エッジデバイス・IoTと融合し、 オートノマス（自律的な）サプライチェーンを実現 再掲
17. 17 ©️ Panasonic Connect Co., Ltd. 2024 オートノマスサプライチェーンの実現に重要な予測技術 サプライチェーン全体の最適化の起点となる技術が需要予測 需要予測モデル 受発注量の予測 倉庫在庫数の予測 作業者数の予測 生産量の予測 • 販売機会ロス ⇔ 過剰在庫 • 属人化による労働負荷の集中 つらい • 中長期のシフト管理 • 人員コストの増大 きつい
18. 18 ©️ Panasonic Connect Co., Ltd. 2024 Cyclic boosting： BlueYonderの需要予測モデル 高い説明性に強みのもつ機械学習モデルをOSSとして公開 Scikit-learnのようなインターフェースで簡単に学習・推論が可能 Cyclic boosting 確率分布の推定 Demand Probability 〇説明性 予測への影響度 Day of week Ratio 月 火 水 木 金 土 日 平均より大きい予測値＝正の影響 平均より小さい予測値＝負の影響 〇汎用性 〇ロバスト性 回帰、時系列回帰、分類 価格弾力性推定 因果関係分析 推論精度 レアなサンプル 外れ値に強い
19. 19 ©️ Panasonic Connect Co., Ltd. 2024 MLモデルとしてのポジショニング 線形モデルs 決定木ベースモデルs NNベースモデルs 単純 回帰 モデル GLM GAM Cyclic boosting Random Forest XG boost Light GBM 多層 パーセプ トロン Transfor mer 単純 回帰 モデル GLM GAM Cyclic boosting Random Forest XG boost Light GBM 多層 パーセプ トロン Transfor mer 単純 回帰 モデル GLM GAM Cyclic boosting Random Forest XG boost Light GBM 多層 パーセプ トロン Transfor mer モデルの説明性・解釈性 非線形データに対する推論能力 (一方で、線形関係が顕著な場合は線形モデルベースの手法の方が精度が高い） 低い 低い 高い 高い 将来的にはココへいきたい！ データ量 少なくてOK 多く必要 多く必要 表データ 扱いやすい 扱いやすい 苦手
20. 20 ©️ Panasonic Connect Co., Ltd. 2024 その仕事、AIに任せることができますか？ LLMの出現でAIが多くのタスクを担うことが可能となった一方で、 経営判断など重要な意思決定は人間に依存 5 Mean of Demand 僅かな発注量の差で億単位の利益変動に繋がるようなケース Time Demand Demand Forecast AIが出した結果は どのくらい信用できるのだ ろうか？
21. 21 ©️ Panasonic Connect Co., Ltd. 2024 Cyclic boostingの使いどころ ミスが許されないケース、観測データから要因に関する洞察を得たいケースなど 定量的な意思決定が重要な場面で特に有効 Time Probability distribution of Demand Demand Forecast Demand Probability Demand Probability 5 6 10% 60% 十分に自信をもって 意思決定ができる！ Demand
22. 22 ©️ Panasonic Connect Co., Ltd. 2024 Cyclic boostingだけのユニークな機能 Quantile-parameterized distributionを利用した確率分布の仮定がいらない確率分布推定 多くのMLモデルは事前に分布を仮定 GLM 最小 二乗法 例えば 正規分布 ポワソン分布 ◦◦分布 損失関数でも 正規分布 実際のケースでは仮定した分布に綺麗に従っていない場合も 多く、真の分布との誤差が生まれてしまう Quantile-parameterized distribution（QPD) … ①分位点回帰によって観測データの分布形状を分析 一般的な回帰：平均点 分位点回帰：分位点 事前知識なしで、観測データが線対称の分布、歪みのある分布 のいずれであっても忠実にfitした確率分布が得られる ②分位点をパラメータにもつQPDで確率分布を近似 出典：https://en.wikipedia.org/wiki/Quantile-parameterized_distribution
23. 23 ©️ Panasonic Connect Co., Ltd. 2024 Jupyter notebookでのQPDを使った確率分布推定の例 ①準備 データセットの概要 ②学習・推論 モデル定義～推論 ③分析A 確率分布の可視化 ④分析B 予測の影響度の可視化
24. 24 ©️ Panasonic Connect Co., Ltd. 2024 カリフォルニア住宅価格データセットでの回帰 住宅情報や世帯収入などから住宅価格の中央値を推定する問題
25. 25 ©️ Panasonic Connect Co., Ltd. 2024 QPDモデルの定義 中央値と任意の両端の 分位点を推定する 3つのモデルを定義 モデルの学習・推論と 確率分布の出力を担う Chainの定義 中央値モデル 上端モデル 下端モデル QPD Regressor Chain
26. 26 ©️ Panasonic Connect Co., Ltd. 2024 学習・推論の実行 Scikit-learnと同様にfit(), predict()でモデル学習・推論 3つの分位点、QPDを出力
27. 27 ©️ Panasonic Connect Co., Ltd. 2024 QPDを利用した確率分布の可視化 確率分布の可視化のため にQPDの出力を加工 QPDは現時点で cdf()：個々の確率 ppf()：個々の推定値 の出力が可能 EXP：期待値 MAX：最尤値 MEDIAN：中央値 TRUE：真値 Y：住宅価格ごとに どれくらいの確率なのか分析可能
28. 28 ©️ Panasonic Connect Co., Ltd. 2024 予測値への影響度の分析 Y：住宅価格ごとに どれくらいの確率なのか分析可能 plot_analysis()を使うことで 目的変数に対する 各変数値の影響度を示したグラフを出力
29. 29 ©️ Panasonic Connect Co., Ltd. 2024 データ分析なしでモデルが捉えたデータセットの傾向が見える Y：住宅価格ごとに どれくらいの確率なのか分析可能 小 MedInc(地域ブロック毎の世帯収入の中央値) 大 予測値に対する MedIncの影響度 世帯収入が高い地域ほど住宅価格も高い 他の説明変数と比べて世帯収入によって、 住宅価格が上がるよりも下がる傾向が強い
30. 30 ©️ Panasonic Connect Co., Ltd. 2024 データ分析なしでモデルが捉えたデータセットの傾向が見える 2変数の交互作用を 分析可能 AveOccup: 平均世帯人数 MedInc：所得の中央値 所得が少なく、世帯人数が多 いほど、住宅価格に負の影響 （低価格に寄与） 負の影響 正の影響
31. 31 ©️ Panasonic Connect Co., Ltd. 2024 お試しで触っていただければ幸いです！ チュートリアルやドキュメントも整備しています！まずはココからがオススメです！ Kaggleでデータセット の傾向を掴む初手とす るのもいいかも
32. 32 ©️ Panasonic Connect Co., Ltd. 2024 本日のメッセージ オープンソースの予測モデルであるCyclic boostingをぜひ使ってみてください！ ソフトウェアケーパビリティの 向上（富・名声・力） 説明性の高さが武器のMLモデル 内容
33. 33 ©️ Panasonic Connect Co., Ltd. 2024 GitHub, Document https://github.com/Blue-Yonder-OSS/cyclic-boosting https://cyclic- boosting.readthedocs.io/en/latest/index.html