メールの分類をLLMをつかってやってみた

https://meguro-lt.connpass.com/event/305703/

Transcript

1. メールの分類を LLMをつかってやってみた ramo
2. 自己紹介 ramo 仕事→ URIHOというサービス開発。 好きなフレームワーク→ remix, sveltekit マイブーム→ cloudflare workers 最近matzさんとツーショット撮りました
3. URIHOについて 販売企業 URIHOは企業間取引において発生する 売掛金の未払い・倒産に備える保証サービスです。 購入企業
4. やりたいこと 問い合わせメールの分類を行って よくある質問ページを拡充したい！
5. やったこと 1600件の問い合わせメールのうち 1000件を手動で分類 ↓ 分類モデルを作成し、残り600件の分類を自動化 内容の傾向の把握
6. 技術的にやったこと LLMのBERTをファインチューニングして 分類モデルを作成しました その結果、少量のデータでもそれなりの精度になった
7. 技術的にやったこと ・「cl-tohoku/bert-base-japanese-v3」というBERTモデ ルを使用 ・Hugging Faceのtransformersライブラリを使用する ・AutoModelForSequenceClassificationというクラスを使 用して分類問題を解けるようにファインチューニング
8. やったこと tokenizer = AutoTokenizer.from_pretrained("cl-tohoku/bert-base-japanese-v3") encoding = tokenizer(df_email['Content'].tolist(), padding=True, truncation=True, return_tensors="pt", max_length=256) model = AutoModelForSequenceClassification.from_pretrained("cl-tohoku/bert-base-japanese-v3", num_labels=len(df_email['question_id'].unique())) # 訓練用のデータの準備等（省略） model.train()
9. 結果 分類の種類 「よくある質問ページに書いてあること」 「サービスの説明をしてください」 「広告」 「その他」
10. 結果 分類の種類 「よくある質問ページに書いてあること」 「サービスの説明をしてください」 「広告」 「その他」 →　90％の精度で分類可能に！
11. 結果 分類の種類 「よくある質問ページに書いてあること」 ↓ よくある質問ページの大分類(５択)　＋　それ以外 でタグ付けを行って学習
12. 結果 分類の種類 「よくある質問ページに書いてあること」 ↓ よくある質問ページの大分類(５択)　＋　それ以外 でタグ付けを行って学習 ↓ 約81%の精度
13. 結果 90％の精度で分類可能に！
14. その他手法 ・Sentence Transformer + lightGBM →55% ・BoW + SVM →37% ・TF-IDF + SVM →40%
15. まとめ ・LLMを使うと少数のデータでもそれなりの精度がでる ・Hugging Faceでなんでもできる！
16. 以上です。