AIの精度と正義の話 - データ界隈LT祭 ver

全米ベストセラー『AIの仮面を剥いでやる』を翻訳して学んだ、AIの精度を高めることと、AI社会を正義にかなったものにするための取り組みの意外な共通点。

本はこちら！
https://www.amazon.co.jp/dp/429502368X/

Transcript

1. AIの 精度 と 正義 の話 ◀翻訳を通じて感じた 最大 AHA ポイントをおはなし！ 佐野千紘（さのちひろ） Twitter(現X) @IQ_Bocchi
2. 物語のはじまり ジョイ博士（当時は修士の学生）が授業の課題で、顔認識AIを使ったアプリを作成中に… 自分の顔が 仮面をつけたら 認識された。 …なんで？？ AI に 認識されない ▲原書の表紙
3. 顔認識の精度は、なぜ人種で違うのか？ 世界がもし100人の村だったら 白人 30人 有色人種 70人 ▲の世界に対して、顔認識の学習・検証用データセットを作るとしたら？ 白人 30% 有色人種 70% 有色人種 50% 白人50% ※ 多種多様な「有色人種」をひとくくりにしていいのかという問題は残る 実際の学習・検証用データセットの内訳 白人 83.5% 有色人種 16.5%
4. さらに、性別を加えると 人口の比率を考えれば・・・ 男性 白人 83.5% 有色人種 16.5% 白人 83.5% 有色人種 16.5% 女性 実際には・・・ 男性 77.5% 女性 22.5%
5. その結果どうなったか 白人男性に対しては 高い精度が出るが・・・ 有色人種の女性に対しては 精度が出ない 『AIの仮面を剥いでやる』 184ページの図▶
6. なぜこうなったのか？ 性能を検証するための “標準” となるテストデータに、白人男性が多く含まれていた。 そのため・・・ マジョリティ（白人男性）の精度さえよければ・・・ 男性 77.5% 白人 83.5% 女性 22.5% マイノリティ（有色人種女性）の 精度が低くても・・・ ▲全体をおしなべると、精度が高く見えてしまう 有色人種 16.5%
7. 日本の我々と なんの関係が？
8. “データの偏り” と精度の問題 「日本でいつ、オーロラが観測できるか」を予測するシステムを作る場合 普通にテストデータを集めると オーロラ出る オーロラ出ない 99.999999…..% ▶ オーロラが出るケースが稀すぎて学習がうまくいかない なので、こうする オーロラ出る オーロラ出る ▶ 稀な方のデータを「水増し」して、だいたい半々くらいの学習・検証データを作る
9. AIの 精度 と 正義 の問題 – 根っこは共通 精度 公平・平等 ＝正義 AIの学習・検証用のデータには、 扱いたいカテゴリのデータを バランスよく集める ことが大事！
10. 精度 がよく 正義 に適った AI社会を築こう
11. なぜ、“標準” の学習／テストデータに こんな偏りが生じたのか？ 男性 77.5% 白人 83.5% 有色人種 16.5% 女性 22.5% 書籍に詳しく 描かれているので お楽しみに … !! https://www.amazon.co.jp/dp/429502368X/