LLM時代にLabは何をすべきか聞いて回った1年間

by Hayahide Yamagishi

Slide 1

Slide 1 text

LLM時代にLabは何をすべきか聞いて回った1年間 A year of asking everyone what is expected of the Lab in the LLM era

Slide 2

Slide 2 text

山岸駿秀 Hayahide Yamagishi ● X / Twitter: @hargon24 ● Career: ○ 2022.04 - now: Money Forward Lab ■ NLP researcher ○ 2019.04 - 2022.03: Fuji Xerox ■ NLP researcher ■ ML engineer (at Fujiﬁlm) ● Others: Committees of several domestic NLP / AI conferences

Slide 3

Slide 3 text

自然言語処理は様々なところで使われています Natural Language Processing is used everywhere 文字入力 / かな漢字変換 IME / Kana-Kanji conversion 機械翻訳 Machine translation 検索 Search 誤り訂正 Error correction 文書分類 Text classiﬁcation 音声認識 Speech recognition OCR（文字認識） Character recognition 質問応答 Q&A

Slide 4

Slide 4 text

Slide 5

Slide 5 text

しかし、全てChatGPTで解決してしまいそうです But all tasks seem to be solved by ChatGPT 文字入力 / かな漢字変換 IME / Kana-Kanji conversion 機械翻訳 Machine translation 検索 Search 誤り訂正 Error correction 文書分類 Text classiﬁcation 音声認識 Speech recognition OCR（文字認識） Character recognition 質問応答 Q&A Sure! Sure! Sure! Sure! Sure! Sure! Sure! Sure! 一方、NLPに興味を持ってくれる人も増え、ヒアリングの機会が急増しました The number of people interested in NLP has increased, and the number of the interviews has increased rapidly.

Slide 6

Slide 6 text

● これまで40名以上と議論  ● 当社のCXOや外部の専門家と話す機会も増加    ● I have had discussions with more than 40 people after the release of Chat GPT.  ● Increased opportunities to talk to our CXOs and external experts.   GPT・生成AIに関する議論に呼ばれるように I gradually started to be invited to interviews/discussions related GPT / GenAI. ● 辻CEOが生成AIに注目しはじめた  ● 社内のエンジニアイベントでトークした     ● GenAI began to attract CEO Tsuji’s attention  ● I spoke at an Engineer’s event in MF 

Slide 7

Slide 7 text

Slide 8

Slide 8 text

● 具体的すぎる要望  ○ 契約書から人名、住所などを抽出   （固有表現抽出）  ○ 事業所間の勘定科目名のマッチング   ● 抽象的すぎる要望・無理な要望  ○ ChatGPTで何かしたい  ○ 為替レートを予測したい   ヒアリングの内容は両極端 The contents of the interviews are at both extremes. 具体的 Detailed/Concrete 抽象的 Abstract 固有表現抽出 NER ChatGPTで何かしたい Want to do with ChatGPT ● Too detailed / concrete  ○ Extract names, addresses, dates etc.,   from contract documents (NER)  ○ Match the accounting titles  ● Too abstract / impossible requests  ○ Want to make something with ChatGPT  ○ To predict an exchange rate 

Slide 9

Slide 9 text

NER（固有表現抽出）  ● 文章から名前・日付・電話番号などを抜き出して構造化する技術  ● 契約書の管理を行うクラウド契約などから要望があった  NER (Named Entity Recognition)  ● To extract the names, dates, tel numbers etc. from documents  ● Request from MFC Contract which manages contract documents  よくある要望: 書類の固有表現抽出 Frequent Request: Named entity recognition from documents { “user_name”: “株式会社ABC商事”, “contractor”: “株式会社XYZ工業”, “doc_name”: “業務委託契約書”, … } 業務委託契約書    株式会社ABC商事（以下「甲」という）と株式会社XYZ工業（以下「乙」という）とは、以下の業務委託契約（以下「本契約」という）の締結に合意する。    第一条  甲は、本契約の定めるところにより、…

Slide 10

Slide 10 text

Slide 11

Slide 11 text

私がやったこと: ひとことアドバイスしただけ What I did: Gave a short advice 契約書から契約日や契約者などを取りたい I want to extract information such as contractors, contract dates from contracts NERであればGPT-4(V)で十分できそう I think NER can be developed using GPT-4 / GPT-4V できました！ We released the feature!

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

プロダクトの要望はエンジニア側で解決できる Requests from a single product can be solved by product team 具体的 / Detailed / concrete 抽象的 / Abstract 固有表現抽出 / NER 科目分類 / Title classiﬁcation 生成AIで何かしたい / Want to use GenAI 具体的な要望はエンジニアが生成 AIのAPIを使えばなんとかなる   NLPerの仕事は、生成AIのAPIでできるかどうかを見極めること   These can be implemented by engineers using the GenAI API.  The NLPer’s job is to determine whether or not it can be done by GenAI.   

Slide 15

Slide 15 text

Labの強み: 複数プロダクトからの要望が聞ける The strength of MF Lab: We can get requests from several products 具体的 / Detailed/ concrete 抽象的 / Abstract 複数プロダクトの要望がある・関連する / Request from several products or related to several products 1プロダクトから要望がある / Request from one product 固有表現抽出 / NER 科目分類 / Title classiﬁcation 生成AIで何かしたい / Want to do use GenAI 複数プロダクトのヒアリング結果から共通する課題を見つけて解くのが良さそう We should ﬁnd and solve common questions across multiple products, from the interview results プロダクト側で実装可能 / Product team can develop it

Slide 16

Slide 16 text

● 実は、生成AI前はMLの要望が少なかった  ● 生成AIの普及以降、各プロダクトから要望が出てくるようになった  → 複数プロダクトに関連する課題が見つけられるようになった  ● Before the GenAI era, there were few requests about ML / NLP.  ● After the spread of GenAI, we get a lot of requests from product teams.  → Issues related to several products can now be identiﬁed.  生成AIの時代になって変わったこと What has changed in the GenAI era. 60以上のプロダクトがある More than 60 products

Slide 17

Slide 17 text

● 生成AIの時代になったことで、プロダクト側の要望が大量に届くようになった  ● 個別のタスクを解くのではなく、多くのプロダクトに共通する課題を見つけられるようになった  ● ヒアリングはとても大事  まとめ Summary ● After the GenAI era started, we are getting a lot of requests from product teams  ● We have more opportunities to solve common issues as opposed to individual tasks  ● Interviewing is very important  まだまだNLPerができることはたくさんありそうです！ There are so many tasks for NLPers to tackle at MF!