Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLM時代にLabは何をすべきか聞いて回った1年間

 LLM時代にLabは何をすべきか聞いて回った1年間

マネーフォワードのテックカンファレンス「Money Forward Techday '24」にLT登壇したときのスライドです。
https://techday.moneyforward-dev.jp/2024/sessions/lt-03/

Hayahide Yamagishi

September 20, 2024
Tweet

Other Decks in Research

Transcript

  1. 山岸駿秀 Hayahide Yamagishi • X / Twitter: @hargon24 • Career:

    ◦ 2022.04 - now: Money Forward Lab ▪ NLP researcher ◦ 2019.04 - 2022.03: Fuji Xerox ▪ NLP researcher ▪ ML engineer (at Fujifilm) • Others: Committees of several domestic NLP / AI conferences
  2. 自然言語処理は様々なところで使われています Natural Language Processing is used everywhere 文字入力 / かな漢字変換

    IME / Kana-Kanji conversion 機械翻訳 Machine translation 検索 Search 誤り訂正 Error correction 文書分類 Text classification 音声認識 Speech recognition OCR(文字認識) Character recognition 質問応答 Q&A
  3. しかし、全てChatGPTで解決してしまいそうです But all tasks seem to be solved by ChatGPT

    文字入力 / かな漢字変換 IME / Kana-Kanji conversion 機械翻訳 Machine translation 検索 Search 誤り訂正 Error correction 文書分類 Text classification 音声認識 Speech recognition OCR(文字認識) Character recognition 質問応答 Q&A Sure! Sure! Sure! Sure! Sure! Sure! Sure! Sure!
  4. しかし、全てChatGPTで解決してしまいそうです But all tasks seem to be solved by ChatGPT

    文字入力 / かな漢字変換 IME / Kana-Kanji conversion 機械翻訳 Machine translation 検索 Search 誤り訂正 Error correction 文書分類 Text classification 音声認識 Speech recognition OCR(文字認識) Character recognition 質問応答 Q&A Sure! Sure! Sure! Sure! Sure! Sure! Sure! Sure! 一方、NLPに興味を持ってくれる人も増え、 ヒアリングの機会が急増しました The number of people interested in NLP has increased, and the number of the interviews has increased rapidly.
  5. • これまで40名以上と議論
 • 当社のCXOや外部の専門家と話す機 会も増加
 
 • I have had

    discussions with more than 40 people after the release of Chat GPT.
 • Increased opportunities to talk to our CXOs and external experts. 
 GPT・生成AIに関する議論に呼ばれるように I gradually started to be invited to interviews/discussions related GPT / GenAI. • 辻CEOが生成AIに注目しはじめた
 • 社内のエンジニアイベントでトークした 
 
 • GenAI began to attract CEO Tsuji’s attention
 • I spoke at an Engineer’s event in MF

  6. • これまで40名以上と議論
 • 当社のCXOや外部の専門家と話す機 会も増加
 
 • I have had

    discussions with more than 40 people after the release of Chat GPT.
 • Increased opportunities to talk to our CXOs and external experts. 
 GPT・生成AIに関する議論に呼ばれるように I gradually started to be invited to interviews/discussions related GPT / GenAI. • 辻CEOが生成AIに注目しはじめた
 • 社内のエンジニアイベントでトークした 
 
 • GenAI began to attract CEO Tsuji’s attention
 • I spoke at an Engineer’s event in MF
 今日はヒアリングを通して思ったことを紹介します In today's talk, I will introduce what I thought through these interviews.
  7. • 具体的すぎる要望
 ◦ 契約書から人名、住所などを抽出 
 (固有表現抽出)
 ◦ 事業所間の勘定科目名のマッチング 
 •

    抽象的すぎる要望・無理な要望
 ◦ ChatGPTで何かしたい
 ◦ 為替レートを予測したい 
 ヒアリングの内容は両極端 The contents of the interviews are at both extremes. 具体的 Detailed/Concrete 抽象的 Abstract 固有表現抽出 NER ChatGPTで何かしたい Want to do with ChatGPT • Too detailed / concrete
 ◦ Extract names, addresses, dates etc., 
 from contract documents (NER)
 ◦ Match the accounting titles
 • Too abstract / impossible requests
 ◦ Want to make something with ChatGPT
 ◦ To predict an exchange rate

  8. NER(固有表現抽出)
 • 文章から名前・日付・電話番号などを 抜き出して構造化する技術
 • 契約書の管理を行うクラウド契約など から要望があった
 NER (Named Entity

    Recognition)
 • To extract the names, dates, tel numbers etc. from documents
 • Request from MFC Contract which manages contract documents
 よくある要望: 書類の固有表現抽出 Frequent Request: Named entity recognition from documents { “user_name”: “株式会社ABC商事”, “contractor”: “株式会社XYZ工業”, “doc_name”: “業務委託契約書”, … } 業務委託契約書
 
 株式会社ABC商事 (以下「甲」という)と株式会社XYZ工業 (以下「乙」という)とは、以下の業務委託契約(以下「本契約」と いう)の締結に合意する。
 
 第一条
 甲は、本契約の定めるところにより、…
  9. 私がやったこと: ひとことアドバイスしただけ What I did: Gave a short advice 契約書から契約日や契約者などを取りたい

    I want to extract information such as contractors, contract dates from contracts NERであればGPT-4(V)で十分できそう I think NER can be developed using GPT-4 / GPT-4V
  10. 私がやったこと: ひとことアドバイスしただけ What I did: Gave a short advice 契約書から契約日や契約者などを取りたい

    I want to extract information such as contractors, contract dates from contracts NERであればGPT-4(V)で十分できそう I think NER can be developed using GPT-4 / GPT-4V できました! We released the feature!
  11. 私がやったこと: ひとことアドバイスしただけ What I did: Gave a short advice 契約書から契約日や契約者などを取りたい

    I want to extract information such as contractors, contract dates from contracts NERであればGPT-4(V)で十分できそう I think NER can be developed using GPT-4 / GPT-4V できました! We released the feature! (僕の仕事は…?) (Is there any work left for me?)
  12. 私がやったこと: ひとことアドバイスしただけ What I did: Gave a short advice 契約書から契約日や契約者などを取りたい

    I want to extract information such as contractors, contract dates from contracts NERであればGPT-4(V)で十分できそう I think NER can be developed using GPT-4 / GPT-4V できました! We released the feature! (僕の仕事は…?) (Is there any work left for me?) こういうことをたくさん経験しました I experienced many things like this.
  13. プロダクトの要望はエンジニア側で解決できる Requests from a single product can be solved by

    product team 具体的 / Detailed / concrete 抽象的 / Abstract 固有表現抽出 / NER 科目分類 / Title classification 生成AIで何かしたい / Want to use GenAI 具体的な要望はエンジニアが生成 AIのAPIを使えばなんとかなる 
 NLPerの仕事は、生成AIのAPIでできるかどうかを見極めること 
 These can be implemented by engineers using the GenAI API.
 The NLPer’s job is to determine whether or not it can be done by GenAI.
 

  14. Labの強み: 複数プロダクトからの要望が聞ける The strength of MF Lab: We can get

    requests from several products 具体的 / Detailed/ concrete 抽象的 / Abstract 複数プロダクトの要望がある・関連する / Request from several products or related to several products 1プロダクトから要望がある / Request from one product 固有表現抽出 / NER 科目分類 / Title classification 生成AIで何かしたい / Want to do use GenAI 複数プロダクトのヒアリング結果から 共通する課題を見つけて解くのが良さそう We should find and solve common questions across multiple products, from the interview results プロダクト側で実装可能 / Product team can develop it
  15. • 実は、生成AI前はMLの要望が少なかった
 • 生成AIの普及以降、各プロダクトから要望が 出てくるようになった
 → 複数プロダクトに関連する課題が見つけられる ようになった
 • Before

    the GenAI era, there were few requests about ML / NLP.
 • After the spread of GenAI, we get a lot of requests from product teams.
 → Issues related to several products can now be identified.
 生成AIの時代になって変わったこと What has changed in the GenAI era. 60以上のプロダクトがある More than 60 products
  16. • 生成AIの時代になったことで、プロダ クト側の要望が大量に届くようになっ た
 • 個別のタスクを解くのではなく、多くの プロダクトに共通する課題を見つけら れるようになった
 • ヒアリングはとても大事


    まとめ Summary • After the GenAI era started, we are getting a lot of requests from product teams
 • We have more opportunities to solve common issues as opposed to individual tasks
 • Interviewing is very important
 まだまだNLPerができることはたくさんありそうです! There are so many tasks for NLPers to tackle at MF!