LayerXにおける ChatGPTを活用したPoC事例 / layerx-poc-with-chatgpt

by Yuya Matsumura

Slide 1

Slide 1 text

LayerXにおける ChatGPTを活用したPoC事例 23.Mar.2023 ChatGPT選手権！エンジニアリングに組み込んでみたらこうなりました LT大会 Yuya Matsumura (@yu-ya4)

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© 2023 LayerX Inc. 3 MLエンジニア・PdMとしての感想 ● PoC、あるいはとりあえず動くものを作ってデモをすることの重要性はご存知の通り ● 一方で、機械学習技術を利用するようなものは比較的大変なことが多かった ○ 最低限の性能を持つモデルを作成する、事前学習モデルを利用するにしても fine-tune するためにもある程度のデータセットを作成する必要があった。 ○ モデリングやデータの前処理など高い専門性が要求されるため、機械学習エンジニアやデータサイエンティストが行うしかなかった。一方で、そのような専門職のリソースが潤沢にあるケースは... ○ ある程度のスペックのマシンリソースを用意する必要があった。機械学習技術を利用する必要があるようなPoCを誰でも・低コストで行えるようになったインパクトが大変大きいと感じています。データやモデルの準備せずともプロンプトエンジニアリングにより実現 + Web UI やAPIの提供により自前の環境は最低限で可

Slide 4

Slide 4 text

とにもかくにも事例紹介

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

ここまでほとんどMLエンジニア以外がやったものです

Slide 11

Slide 11 text

© 2023 LayerX Inc. 11 どうやって進めているか ● 社内のMLエンジニア含め、数名をLLMの活用・検証プロジェクトにアサインしてリソースの確保 ● 社内から広くアイデアを集め、優先度を決めてどんどんPoC ● 加えて、会社の予算を確保して organization を作成し希望するメンバーを招待。自身でAPI Keyを発行して自由に検証できるように。 → 各チームでハッカソンが開催されたり、勝手にメンバーが遊んでいたり

Slide 12

Slide 12 text

© 2023 LayerX Inc. 12 最後に ● 改めてですが、機械学習技術を利用する必要があるようなPoCを誰でも・低コストで行えるようになったインパクトが大変大きいと感じています。 ○ 実際に毎日たくさんのプロダクトPoCや活用事例が社内の専用slackチャンネルで共有されており、ほとんどがMLエンジニア以外によるものです（事業部のMLエンジニアは現在３名） ○ コストもAPIコストくらい（クラウドでGPUインスタンス立てて...とか考えると微々たるもの） ● もちろん実際にプロダクトに導入する際には、出力の正確性や可用性、コスト面など考えることが様々ありますが、PoCを行う・デモを作成するという点では十分過ぎると思います。 ● また、技術はすごいスピードで進歩していくため、そこを見越した動きでもあります。 ○ たとえば画像をVision API にかけた結果をChatGPTに入力する例も紹介しましたが、まもなく画像なども入力として扱えるようになりますし、APIのコストもどんどん下がっていくだろう。 ● いろいろ話しましたが、単純にめちゃくちゃ面白い技術だと思うのでエンジニアとしてもっともっと遊んでいきたいと考えています！