Slide 1

Slide 1 text

祝 11/27 11/26リリース! Amazon Chronos-Boltで見える未来 清水 厚志(Atsushi Shimizu)

Slide 2

Slide 2 text

2 清水 厚志(Atsushi Shimizu) 株式会社HBA ICTソリューション本部 テクニカルエキスパート 2005年入社(20年目)/ 45歳、3人兄弟の父親 好きなこと • 検索技術とAI コミュニティ歴 • Elasticsearch勉強会(2023/04~) • JAWS-UG(2023/09~) • ChatGPT Community(JP) など 発表は個人の見解に基づくものであり、 所属組織を代表するものではありません。 @shimizuxa 自己紹介 先月から、LangChainを 使うPRJへ参画できた

Slide 3

Slide 3 text

3 今年の振り返り • 5月、ChatGPT Meetup Tokyo #7 で社外初登壇。お世話になりました。 • 7月、Microsoft Researchが、OSSとして「GraphRAG」を公開。 「GraphRAG」という言葉が、一気に一般的になりましたよね。 • 12/16、Microsoft ResearchよりGraphRAG 1.0がリリース。(下位互換性なし) 使いやすく改良されているとのこと。私もこれからキャッチアップします!

Slide 4

Slide 4 text

4 今日は、GraphRAGではなく、 これを紹介させて下さい! (今回もOpenAIと関係なくてすみません・・・)

Slide 5

Slide 5 text

5 https://github.com/amazon-science/chronos-forecasting

Slide 6

Slide 6 text

6 Chronos-Boltとは ・Amazonが開発し、11/26にHugging Faceに公開された、 事前学習済みの時系列予測モデルである。 ・元のChronosと比較して最大250倍高速で、20倍のメモリ効率。 それでいて、現状の評価スコアとしては最強。 ・CPUでの動作もサポートされており、普通のPC上でも動作する。 外部特徴量による予測補正や、ファインチューニングも可能。

Slide 7

Slide 7 text

7 Chronos-Boltとは ・Amazonが開発し、11/26にHugging Faceに公開された、 事前学習済みの時系列予測モデルである。 ・元のChronosと比較して最大250倍高速で、20倍のメモリ効率。 それでいて、現状の評価スコアとしては最強。 ・CPUでの動作もサポートされており、普通のPC上でも動作する。 外部特徴量による予測補正や、ファインチューニングも可能。

Slide 8

Slide 8 text

8 時系列予測モデルとは • 言語モデルのアーキテクチャに基づいて事前学習された、 時系列データの将来予測を推論するモデル 気温や電力消費量、来客数、水位、株価など

Slide 9

Slide 9 text

9 時系列予測モデルとは https://github.com/amazon-science/chronos-forecasting#-introduction • 言語モデルのアーキテクチャに基づいて事前学習された、 時系列データの将来予測を推論するモデル

Slide 10

Slide 10 text

10 時系列予測モデルとは • 言語モデルのアーキテクチャに基づいて事前学習された、 時系列データの将来予測を推論するモデル • 従来の予測に必要だった事前学習は不要で、汎用的な データに対して0-Shotで予測が可能 • LLMにおけるプロンプト指示とは異なり、Pythonなどの 関数として実装されている例が多い。 時系列データを渡すと、将来予測が出力される。 気温や電力消費量、来客数、水位、株価など

Slide 11

Slide 11 text

11 時系列予測モデルとは https://speakerdeck.com/soracom/get-the-future-by-chronos-of-amazons-time-series-fm-ja • AWS Heroのソラコム松下さんが公開くださっている、 JAWS PANKRATION 2024の登壇資料もご参照ください。 元のChronosに 関する内容です

Slide 12

Slide 12 text

12 Chronos-Boltとは ・Amazonが開発し、11/26にHugging Faceに公開された、 事前学習済みの時系列予測モデルである。 ・元のChronosと比較して最大250倍高速で、20倍のメモリ効率。 それでいて、現状の評価スコアとしては最強。 ・CPUでの動作もサポートされており、普通のPC上でも動作する。 外部特徴量による予測補正や、ファインチューニングも可能。

Slide 13

Slide 13 text

13 Chronos-Boltの特徴 • パラメータの規模により、4モデルが公開されている https://github.com/amazon-science/chronos-forecasting#architecture largeは リリースされて いない

Slide 14

Slide 14 text

14 Chronos-Boltの特徴 • 元モデルに比べて、最大250倍高速に予測できる! https://aws.amazon.com/jp/blogs/news/machine-learning-fast-and-accurate-zero-shot-forecasting-with-chronos-bolt-and-autogluon/ 元のlargeより 600倍以上高速

Slide 15

Slide 15 text

15 Chronos-Boltの特徴 • 元モデルより高い予測精度 https://aws.amazon.com/jp/blogs/news/machine-learning-fast-and-accurate-zero-shot-forecasting-with-chronos-bolt-and-autogluon/ 元のlargeより 予測精度が高い

Slide 16

Slide 16 text

16 Chronos-Boltの特徴 • 論文掲載のより詳しい比較図 Chronos: Learning the Language of Time Series (https://arxiv.org/pdf/2403.07815)

Slide 17

Slide 17 text

17 Chronos-Boltとは ・Amazonが開発し、11/26にHugging Faceに公開された、 事前学習済みの時系列予測モデルである。 ・元のChronosと比較して最大250倍高速で、20倍のメモリ効率。 それでいて、現状の評価スコアとしては最強。 ・CPUでの動作もサポートされており、普通のPC上でも動作する。 外部特徴量による予測補正や、ファインチューニングも可能。

Slide 18

Slide 18 text

18 Chronos-Boltを動かしてみた https://aws.amazon.com/jp/blogs/news/machine-learning-fast-and-accurate-zero-shot-forecasting-with-chronos-bolt-and-autogluon/ • AmazonのBlogにハンズオンがあったので、 PC上で動かしてみました。

Slide 19

Slide 19 text

19 Chronos-Boltを動かしてみた • 動作させたPCのスペック

Slide 20

Slide 20 text

20 Chronos-Boltを動かしてみた • ハンズオン① 0-shot予測(電力需要) 点予測と 80%信頼区間 使うのは Bolt Base

Slide 21

Slide 21 text

21 Chronos-Boltを動かしてみた • ハンズオン② ファインチューニング(電力需要) 過去データを 教師データとして使う 使うのは Bolt Small

Slide 22

Slide 22 text

22 Chronos-Boltを動かしてみた • ハンズオン② ファインチューニング(電力需要) GPUの利用が推奨 されているが、 CPU環境でも 8分強で完了した 予測精度の 向上が見られた

Slide 23

Slide 23 text

23 Chronos-Boltを動かしてみた • ハンズオン③ 外部特徴量での補正(販売データ) 使うのは Bolt Small ・CatBoostモデルを covariate_regressor として使用 ・target_scalerも使用 ※正直、チンプンカンプン

Slide 24

Slide 24 text

24 Chronos-Boltを動かしてみた • ハンズオン③ 外部特徴量での補正(販売データ) 予測精度の 向上が見られた

Slide 25

Slide 25 text

25 Chronos-Boltまとめ ・Amazonが開発し、11/26にHugging Faceに公開された、 事前学習済みの時系列予測モデルである。 ・元のChronosと比較して最大250倍高速で、20倍のメモリ効率。 それでいて、現状の評価スコアとしては最強。 ・CPUでの動作もサポートされており、普通のPC上でも動作する。 外部特徴量による予測補正や、ファインチューニングも可能。 とても気軽に、かつノーコストでも試せるので、 皆さんも触ってみませんか?

Slide 26

Slide 26 text

No content