判断根拠の不確実性を活用したデータ改善手法の提案

JSAI2023で発表しました。

Transcript

1. ⽂章分類モデルの不確実性に基づく
   ⼈間によるデバッグ⼿法の提案
   太⽥ 真⼈(ISID) ファイサル ハディプトラ (ISID)
   2023年6⽉8⽇
   

   View Slide

2. ISIDのAI専⾨部署 AITCとは
   2023年度 ⼈⼯知能学会全国⼤会 2
   ①AI製品開発
   DXを強⼒に⽀援する
   AI製品の提供
   図⾯活⽤AI
   ⽂書活⽤AI
   AIプラット
   フォーム
   AI
   画像認識
   ②AIコンサルティング
   顧客業務やAI技術に精通した
   コンサルタントによるDX⽀援
   AI
   需要予測
   EngineeringAI
   ③AI⼈材育成
   DXを加速させるための
   AI/データ活⽤⼈材育成⽀援
   ④研究開発
   ISIDのAIビジネスをリードする為の
   最新AI研究開発や研究事例の対外発表
   ■ 登壇実績
   - ⼈⼯知能学会
   - ⾔語処理学会
   AI製品開発やコンサルティング、AI⼈材育成のビジネスに加えて、ISIDのAIビジネスを下⽀えする
   研究開発を展開
   

   View Slide

3. n 業務担当者でも直感的に理解できる精度改善⼿法が求められる
   n 私たちの考え︓データ改善こそ、業務知識のある担当者にしかできない
   n ⼈によるデータ拡張に基づく分類モデルの精度改善フローを提案
   Ø ⼈間フィードバック︓⽂章の修正・追加
   Ø 対象データの選択︓予測の不確実性の⾼い順
   Ø 改善箇所の提案︓予測モデルの判断根拠とその不確実性を利⽤
   n ⽂章データが数千件のとき、提案⼿法の有効性を確認
   Ø ルールベースなデータ拡張より精度改善がされた
   Ø 数万件データがある場合は効果なし
   研究概要
   3
   2023年度 ⼈⼯知能学会全国⼤会
   ⽂章
   説明・不確実性
   

   View Slide

4. 背景
   2023年度 ⼈⼯知能学会全国⼤会
   

   View Slide

5. n AI製品単体では精度改善する⼿順までサポートされていないことが多い
   n 導⼊から継続的活⽤まで別のデータサイエンティストの⽀援が必要
   予測モデルの精度改善が容易でない実情
   2023年度 ⼈⼯知能学会全国⼤会 5
   AIソリューション
   AutoML 製品含む
   1. データをアップロード
   2. プルダウン選択
   3. 訓練実⾏と精度確認
   4. 外部の精度改善⽀援
   5. デプロイ
   業務担当者
   ＋
   データサイエンティスト
   

   View Slide

6. n 予測モデルの精度改善コストが⾼い
   n 分析の属⼈化
   Ø 運⽤中の精度低下に対する急な対応
   Ø 海外ではAIベビーシッターと⾔われている。
   既に起きている諸問題
   2023年度 ⼈⼯知能学会全国⼤会 6
   業務担当者
   データサイエンティスト
   コスト
   💦
   💦
   精度維持
   💦
   💦
   AIソリューション
   AutoML 製品含む
   ＋
   

   View Slide

7. AIシステム
   データ分析者
   （AIエンジニア）
   AIを見守る
   モデル・データ・予測結果の監視
   ドメイン専門家
   （業務担当者）
   予測の結果・説明・不確実性の提供
   知識の追加・データ改善
   AIを育てる
   モデル改善
   実現したい世界
   2023年度 ⼈⼯知能学会全国⼤会 7
   MLOps
   • 属⼈的になりやすい
   • AIの専⾨的知識を必要とする。
   • データ管理のみ
   • 顧客の専⾨知識をデータに組み込む。
   

   View Slide

8. 既存研究
   2023年度 ⼈⼯知能学会全国⼤会
   

   View Slide

9. Explanation-Based Human Debugging (EBHD)
   2023年度 ⼈⼯知能学会全国⼤会 9
   n 予測根拠を⼈間が判断し、モデルにフィードバックする精度改善⼿法
   n 本研究もこの枠組みを採⽤
   [Lertvittayakumjorn+ 2021]
   研究のスコープ
   

   View Slide

10. 1. 評価データからランダムに⽂章を選択
    2. 判断根拠をLIME[Ribeiro 2016]
    で算出
    3. ⼈間が間違った説明箇所をフィードバック
    4. 説明箇所をランダム単語や同位置単語に変換しデータ拡張
    5. 訓練データに追加し再学習
    寄与度を⽤いたデータ改善⼿法 [Teso19]
    2023年度 ⼈⼯知能学会全国⼤会 10
    ⽂章︓この玩具シリーズは初めて買ったけど、素晴らしい。。。。
    （⼈間判断）不適切
    拡張１︓この玩具シリーズは初めて買ったけど、素晴らしい。だよね。
    拡張２︓この玩具シリーズは初めて買ったけど、素晴らしい。︕︕︕
    拡張３︓この玩具シリーズは初めて買ったけど、素晴らしい。うん
    単語変換
    

    View Slide

11. 1) ⼈間の⽂章確認の労⼒
    Ø間違った説明箇所を探し、正しい箇所を発⾒する作業負荷
    Ø⽂章の選択基準がランダムによる⾮効率さ
    ü 予測・説明の不確かさを活⽤して効率化できないか
    2) ルールベースなデータ拡張により、異なる意味で学習される懸念
    Ø製造や⾦融では専⾨⽤語や事前知識が多く、簡単なデータ拡張では難しい。
    ü業務知識のある⼈が⽂章を修正・拡張すれば安⼼か
    従来⼿法の課題
    2023年度 ⼈⼯知能学会全国⼤会 11
    単語削除で⽂意が失われる懸念
    どこを指摘すればいいのか…
    

    View Slide

12. n 業務担当者が実施可能なデータ改善による精度向上プロセスの構築
    Ø⼈間がデータ拡張をおこなうことで分類精度は改善するのか
    Ø予測と説明の不確実性を活⽤し、⼈間データ拡張の負荷軽減を⽬指す
    研究⽬的
    2023年度 ⼈⼯知能学会全国⼤会 12
    AIシステム
    データ分析者
    （AIエンジニア）
    AIを見守る
    モデル・データ・予測結果の監視
    ドメイン専門家
    （業務担当者）
    予測の結果・説明・不確実性の提供
    知識の追加・データ改善
    AIを育てる
    モデル改善
    

    View Slide

13. 提案⼿法
    2023年度 ⼈⼯知能学会全国⼤会
    

    View Slide

14. 提案⼿法の全体像
    2023年度 ⼈⼯知能学会全国⼤会 14
    1. 予測の不確実性が⾼い順に選択
    2. 判断根拠の不確実性が⾼い箇所を提⽰
    3. 拡張後の⽂章をフィードバック
    n 寄与度を⽤いたデータ改善⼿法 [Teso19] がベース
    

    View Slide

15. n Deep Ensembles で推定した予測の不確実性の⾼い⽂章から選ぶ
    狙い︓モデルが未知・分類境界上の正解データを増やすこと
    Ø モデルの不確実性が⾼い︓訓練データ分布外サンプル
    Ø データの不確実性が⾼い︓分類境界上の複雑な⼊⼒
    1. データ改善対象⽂章の選定
    2023年度 ⼈⼯知能学会全国⼤会 15
    Model 1
    Model 2
    Model 3
    Model 1
    Model 2
    Model 3
    Model 3
    Data Uncertainty
    Model
    Uncertainty
    確信度
    確信度
    

    View Slide

16. n 判断根拠で有名な⼿法 SHAPの不確実性を定量化 [Shaikhina 21]
    狙い︓⼈間が⽂章中からデータ改善すべき箇所を把握すること
    2. 判断根拠の不確実性が⾼い箇所を提⽰
    2023年度 ⼈⼯知能学会全国⼤会 16
    正規化・離散化
    分散を推定
    閾値処理
    ネガティブの判断根拠
    ⾚︓貢献度⼤、⻘︓貢献度⼩
    モデル１
    モデル２
    モデル３
    モデル４
    モデル５
    

    View Slide

17. n ネガポジ判定の場合、感情・⽐喩・⽐較・⽪⾁に関する表現で⾼くなる傾向
    補⾜）判断根拠の不確実性が⾼い例
    2023年度 ⼈⼯知能学会全国⼤会 17
    真のクラス: Negative、予測︓Negative
    真のクラス: Negative、予測︓Positive
    ”100均の品質” はネガティンブなのか
    他の作品を褒める⾔い回しはポジティブなのか
    

    View Slide

18. n 判断根拠の不確かな箇所を中⼼に修正・⾔い換え・削除する。
    狙い︓モデルが学習するのに難しいフレーズを簡易化させること
    3. ⼈間によるデータ拡張後の⽂章をフィードバック
    2023年度 ⼈⼯知能学会全国⼤会 18
    • そのくらい24は名作です。
    • それ位24は傑作です。
    • それくらい24に熱中してます。
    • 他の作品と⽐べられないほど24は⾯⽩いです。
    • 他の作品が⾒れなくなるほど⾯⽩いです。
    データ改善例
    

    View Slide

19. 実験
    2023年度 ⼈⼯知能学会全国⼤会
    

    View Slide

20. n 予測の不確実性に基づくサンプル選択の有効性
    n 判断根拠の不確実性に基づく⼈間によるデータ拡張の有効性
    n 訓練データ量を変更した際の提案⼿法の限界調査
    検証事項
    2023年度 ⼈⼯知能学会全国⼤会 20
    

    View Slide

21. n モデルとデータセット
    Ø Amazon 商品レビュー MARC-ja
    • 訓練︓{1000件, 5000件, 10,000件}、評価︓5654件
    Ø事前学習済みモデル bert-base-Japanese
    nサンプル選択⽤データ︓100/10,000件
    Ø モデルの不確実性（MU）︓相互情報量
    Ø データの不確実性（EU）︓期待値予測エントロピー
    Ø ランダム（RA）
    n⽐較︓ルールベースなデータ拡張
    Øランダム削除・単語スワップ，語彙置換，BERT の⽂脈付き単語置換
    実験設定
    2023年度 ⼈⼯知能学会全国⼤会 21
    

    View Slide

22. n 参加者︓NLP経験の浅いエンジニア3名
    n データ拡張時の注意事項は反実仮想⽂章を作成す
    る研究を参考にした。[Kaushik 20]
    n 作業は休憩を⼊れて2時間程度
    Jupyter Notebookでの作業⼿順
    2023年度 ⼈⼯知能学会全国⼤会 22
    

    View Slide

23. n ルールベースと⼈間によるデータ拡張ともに不確実性基準の⽅が精度が⾼い。
    n データ量が増えると効果が鈍化するのは能動学習の研究と同様の結果
    予測の不確実性に基づくサンプル選択の有効性
    2023年度 ⼈⼯知能学会全国⼤会 23
    データ量 データ拡張 RA DU MU
    1000
    ルール 91.36 91.66 91.77
    ⼈間 92.92 93.79 93.79
    5000
    ルール 93.86 94.45 94.77
    ⼈間 94.71 95.17 95.48
    10,000
    ルール 95.38 95.86 94.65
    ⼈間 95.48 95.29 94.95
    ＜
    ＜
    ＜
    ＞
    ＜
    〜
    〜
    Win!
    効果が薄い
    

    View Slide

24. n ルールベースなデータ拡張と⽐較するとデータ少量時に効果があった。
    n 1000件に500件のデータを追加すると平均して5000件のデータ量に匹敵した。
    ⼈間によるデータ拡張の有効性
    2023年度 ⼈⼯知能学会全国⼤会 24
    80
    82
    84
    86
    88
    90
    92
    94
    96
    98
    1000 5000 10000
    ベースライン ルール ⼈間
    正
    答
    率
    

    View Slide

25. n 業務担当者でもおこなえる精度改善⼿法が求められる。
    n 私たちの考え︓データ改善こそ、業務知識のある担当者にしかできない
    n ⼈によるデータ拡張に基づく分類モデルの精度改善フローを提案
    Ø 対象データの選択︓予測の不確実性の⾼い順
    Ø 改善箇所の提案︓予測モデルの判断根拠とその不確実性を利⽤
    n ⽂章データが数千件のとき、提案⼿法の有効性を確認
    Ø ルールベースなデータ拡張より精度改善がされた
    Ø 数万件データがある場合は効果なし
    n 今後は⼤規模⾔語モデルを活⽤し、データ改善を⽬指す。
    Ø 不確実性の⾼い部分のデータ拡張の代⾏
    Ø ⼈間の作業負荷の軽減が本当に可能か評価
    まとめ
    2023年度 ⼈⼯知能学会全国⼤会 25
    

    View Slide

26. n Lertvittayakumjorn, P., & Toni, F. (2021). Explanation-based human debugging of nlp models: A survey. Transactions of
    the Association for Computational Linguistics, 9, 1508-1528.
    n Ribeiro, M. T., et al. 2016. Why should i trust you?: Ex- plaining the predictions of any classifier. In Proc. of KDD, 1135–
    1144.
    n Lakshminarayanan, B., Pritzel, A., & Blundell, C. (2017). Simple and scalable predictive uncertainty estimation using
    deep ensembles. Advances in neural information processing systems, 30.
    n Shaikhina, T., Bhatt, U., Zhang, R., Georgatzis, K., Xiang, A., and Weller, A.: Effects of Uncertainty on the Quality of
    Feature Importance Explanations, in AAAI Workshop on Explainable Agency in Artificial Intelligence (2021)
    n Kaushik, D., Hovy, E., and Lipton, Z. C.: Learning the Difference that Makes a Difference with Counterfactually
    Augmented Data, International Conference on Learning Representations (ICLR) (2020
    参考⽂献
    2023年度 ⼈⼯知能学会全国⼤会 26
    

    View Slide