機械学習を活⽤した個⼈ローン審査 業務の現状と新たな潮流 ー XTech meetup #02 FinTech－ 株式会社 ⾦融エンジニアリング・グループ 加藤 亮 ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 2019/2/26

Who am I? ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 2 ⽒名 加藤 亮 ( @Patrick_Sylvest) 所属 株式会社⾦融エンジニアリング・グループ（FEG） 業歴 ローン審査モデル(個⼈・法⼈）の構築、システム導⼊⽀援 機械学習を活⽤したローンマーケティング⽀援 特許調査・分析（前職） 受賞歴 KDDCUP2015 2nd place Data Science Adventure Cup 2014 2nd place

©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 3 What is FEG? 社 名 株式会社金融エンジニアリング・グル-プ 所在地 東京都中央区新川２丁目２７番１号 設 立 １９８９年４月 創業者 中林 三平 代表者 宮村 幸夫（代表取締役社長） 資本金 9,938万円 株 主 新日鉄住金ソリューションズ株式会社(100%) 在籍者 約90名 事 業 社会行動の数理モデル構築 P K C D 2 U C U • U C R

Introduction •⽇本では、「信⽤スコア」事業に参⼊する企業が相次いでいる •多様なデータを活⽤して、消費者の「信⽤」を数量化する時代の到来 ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 4

©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 5 Data is “the New Oil” The Economist(2017)

アジェンダ •個⼈ローン審査業務と機械学習 •与信に⽤いられる機械学習の基礎 •先進Fintech企業の動向 •ブラックボックスモデルの活⽤ •「解釈性」の研究動向 •まとめ ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 6

個⼈ローン審査フロー • ローン審査では多様なデータを機械学習で処理する ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 7 モデル審査 ⼈⼒審査 ・諾否判定 ・承認⾦利 ・承認⾦額 モデル （機械学習） 申込情報 取引情報 個⼈信⽤ 情報 ・勤続年数 ・年収 ・住居形態 …etc. ・預⾦額 ・融資額 ・⼊出⾦回数 …etc. ・ブラック情報（破産・延滞など） ・クレジット決済履歴 ・キャッシング利⽤履歴 …etc. ・PD ・格付け ・諾否判定 ・承認⾦利 ・承認⾦額 審査担当者が左記の情 報を総合的に勘案して、 最終的な判断を⾏う 最終判定 申込 内部データ Other Data ・Web⾏動履歴 ・決済情報 ・SNS関連データ ・アグリゲーション …etc. 外部データ Data Process

概要ー機械学習を活⽤した与信モデル • 与信モデルは特徴量を⼊⼒としてPD（デフォルト確率）を出⼒ ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 8 feature x1 feature x2 ・・・ feature xi Input Model PD（Score） Output ・Logistic Regression ・Decision Tree ・Gradient Boosting Decision Tree (GBDT) ・Deep Learning (Neural Network) …etc. Probability of Default Machine Learning

PD ホワイトボックスモデル • 国内の与信モデルでは⼀般的にホワイトボックスモデルを利⽤ – モデルの説明責任と解釈性についての要請があるため ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 9 = 1 1 + exp (−) = 1 + 2 3 3 5 367 Logistic Regression Decision Tree

ブラックボックスモデル • ブラックボックス型の与信モデルは国内ではあまり活⽤されていない –⾼精度となるケースが多く、与信モデルに活⽤する利点がある –膨⼤な数の特徴量をモデルの⼊⼒とすることができる –課題は解釈性(“interpretability”)の向上 ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 10 GBDT (Gradient Boosting Decision Tree) Deep Learning (Neural Network)

与信モデル周辺の新たな潮流 • ⾦融機関の外部にある多様なデータの活⽤ – 個⼈信⽤情報 – Other Data（Web・SNS・決済データなど） • ブラックボックスモデルの活⽤と解釈性向上 – 精度と解釈性のトレードオフ – ⾦融庁や総務省からの「解釈性」に関する要請 – 「解釈性」についての論⽂数は2016年以降に急上昇 ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 11

⾦融機関の外部にあるデータ • ⽇本では⾦融機関の外部にあるデータは⼗分に活⽤されてこなかった – Fintech・IT企業の台頭により、今後は活⽤が進むと予想される ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 12 個⼈信⽤ 情報 Other Data ・ブラック情報（破産・延滞など） ・クレジット決済履歴 ・キャッシング利⽤履歴 ・ローン利⽤状況 …etc. 指定信用情報機関が保有 ・Web⾏動履歴 ・決済情報 ・SNS関連データ ・アグリゲーション …etc. ・極めて強⼒なデータ ・⾼精度なモデルが作れる 可能性は未知数

国際⽐較 - 外部データのモデル活⽤状況 US CN JP 個人信用情報 ○ ▲ ▲ Other Data ○ ○ ▲ ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 13 FICOスコアの⽋点を 補うべく、多様なデー タを活⽤するオンライ ンレンダーが台頭 個⼈信⽤情報が未整備 であることを背景に、 多様なデータを活⽤す る企業が登場 個⼈信⽤情報は整備 されているが、モデ ルへの活⽤は不⼗分 FICO Score ??

中国の個⼈信⽤情報と芝⿇信⽤の登場 • 中国における個⼈信⽤情報の現状 – 信⽤調査データがあるのは3億⼈程度 • ⼤半の⼈にはまだ信⽤調査データがなく、与信が難しい状況にある • 芝⿇信⽤の登場 – 2015年に、アリババグループのアントフィナンシャルが開発 – 役割は、信⽤調査データが存在しない「信⽤の空⽩を埋める」こと – ⽶国FICOスコアを参考に信⽤スコアの仕組みを構築 – 現在では、芝⿇信⽤は社会インフラに発展 • 多数のサードパーティを巻き込み、「⽣活」に浸透 • 例えば、スコアが⾼い⼈の物件賃貸における敷⾦減額など • 結婚を考えている⼥⼦が、彼の信⽤スコアが気になるとか ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 14 出典) https://b.zmxy.com.cn/index.htm?scene=xinxin 出典)廉薇ほか(2019)『アントフィナンシャル』 みすず書房.

芝⿇信⽤のデータソース • ネット上にある多様なデータを駆使 – ユーザーのインターネット上の消費・⾏動データを活⽤ – 数百種もの外部パートナーからのデータをインプットとしている – データの90%以上がアリババ・アントフィナンシャルの系列外から得た情報 ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 15 アリババ・アント系 列 外部パートナー Data Input % > % ≤ 最高人民法院・裁判所・業務 提携先・公共料金など 出典)廉薇ほか(2019)『アントフィナンシャル』みすず書房 をもとに作成

芝⿇信⽤の機械学習モデル • Deep Learning（ブラックボックス）が活⽤されていると推察される – 多様なデータソースから膨⼤な数の特徴量を⽣成していると予想される – 国際特許出願では、Deep Learningの利⽤と安定性向上についての技術が開⽰されている ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 16 出典)国際特許出願WO2017148269 - 図1 https://patents.google.com/patent/WO2017148269A1/en?

ZestFinance • ZestFinanceはFICOスコアでは与信が難しいセグメントを開拓 – ZestFinanceは、2009年にGoogleのCIOだったDouglas Merrillが創業 – ターゲットはFICOスコアではローンが借りられない⼈やスコア⾃体がない⼈ (※ FICOスコアがある⼈は⽶国⼈⼝の85%程度 ） • 多様なデータソースを活⽤ – Web⾏動履歴、地理情報、SNS、電話番号履歴、公共料⾦の⽀払履歴…etc. ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 17 出典)米国特許出願US20150019405 ■ Features ■ Sample Case

©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 18 “All Data is Credit Data” ー Douglas Merrill, founder Zest Finance Source) https://aeon.co/essays/judge-jury-and-executioner-the-unaccountable-algorithm

ZestFinanceモデルの特徴 • 膨⼤な数の特徴量をモデルの⼊⼒としている – 次元数は7万とも⾔われている（※従来型の与信モデルは多くても30次元） • ブラックボックスモデルの活⽤ – ZestFinanceの特許出願では、ブラックボックスとホワイトボックスモデルのアンサンブル フラームワークが開⽰されている （※⽶国特許出願US20150019405） ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 19 feature x1 feature x2 ・・・ feature xi Data Neural Network(B) Random Forest(B) Logistic Regression(W) Score Ensembled Answer

ZestFinanceの最新情報 • ブラックボックスモデルの「解釈性」が⽬下の課題 ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 20 出典）BankAI2018 https://www.americanbanker.com/conference/bank-ai-2018/agenda/beyond-the-black-box-putting-a-compliant-and-explainable-credit-underwriting-model-into-production-thursday 出典）Forbes JAPAN, 2018/12/21 http://news.livedoor.com/article/detail/15771134/

ブラックボックスモデルの「解釈性」に関する社会的要請 • ⽶国 –「説明可能な⼈⼯知能」（Explainable AI-XAI）への投資が活発化 – ⽶国防総省・国防⾼等研究計画局（DARPA）による⼤規模な研究開発 • 欧州 –⼀般データ保護規定（GDPR）22条 「プロファイリングを含む⾃動化された意思決定」 –アルゴリズムによる⾃動化された決定に反対して⼈間の介⼊を要求する権利、アルゴリズムの 決定についての説明を求め、それに反対する権利などを規定 • ⽇本 –AI利活⽤原則案（総務省） • 透明性・アカウンタビリティ（説明責任）の原則 –主要⾏等向けの総合的な監督指針（⾦融庁） • 契約締結の客観的合理的理由の説明（顧客への説明責任に関する指針） ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 21

「解釈性」に関する研究動向 • モデルの解釈性に関する論⽂数は、2016年から急激に上昇 –NIPSやICMLなどのトップ国際会議でも関連するワークショップやセッションが開催 –NIPS(NeurIPS)2018の⾦融ワークショップでも多数の関連する報告があった （https://sites.google.com/view/feap-ai4fin-2018/schedule） –しかし、現⾏では実務家からの研究報告は数少ない（⼤半はアカデミアからの報告） ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 22 出典）Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI) https://ieeexplore.ieee.org/document/8466590/

「解釈性」に関する代表的な研究: SHAP（NIPSʼ17） • SHAP - （複雑な）モデルを線形近似して特徴量毎の貢献度を算出 – LIME（KDDʼ16）という局所的な線形近似によるモデル解釈技術を拡張 – SHAP値という概念を導⼊して、サンプル毎に特徴量の貢献度を算出 ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 23 出典) https://github.com/slundberg/shap ■SHAP概念図 ■LIME概念図 出典) https://github.com/marcotcr/lime

SHAPによる分析事例 •ランダムフォレストで構築したモデルをSHAPで可視化 –Adult Data Set (UCI Machine Learning Repository) – 年収が50Kを超えているかどうかの分類タスク ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 24 • ⾚：予測値に対して正に寄与 • Education-Num = 13 • Hours per week = 45 • Workclass = Federal-gov • Country = United-States • ⻘：予測値に対して負に寄与 • Marital Status = Never-married • Education = Bachelors • fnlwgt = 82622 [case 1 – 平均付近] ※）Adult Data Set https://archive.ics.uci.edu/ml/datasets/adult

©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 25 SHAPによる分析事例 [case 2 – ⾼収⼊] [case 3 – 低収⼊]

与信モデルの解釈性とは？ • SHAPなど様々なモデルの解釈技術がアカデミアから登場してきている • しかし、ローン審査実務で必要な「解釈性」についての議論は不⼗分 • 個⼈的には、以下のような論点があると考えている ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 26 1. モデルの納得感 モデルの判断が審査担当者の肌感覚に合うか？（例：返済比率） 2. 特徴量の影響度バラン ス 特定の特徴量の影響が大きすぎないか？（例：自己資金比率） 3. 諾否理由の明示 承諾・否認になった理由を説明できるか？（所謂、説明責任） 4. デフォルト発生時の対 応 デフォルトが（多数）発生した場合に、モデルに原因がないか調べ られるか？ Ø上記2・3では、SHAPが活⽤できると思われる

まとめ • ⾦融機関の外部にある多様なデータが活⽤されるようになった – Web⾏動履歴などこれまで活⽤されなかったデータに着⽬する企業の登場 – ⽇本では、個⼈信⽤情報のモデルへの活⽤に課題がある • 世界の先進的なFintech企業はブラックボックスモデルを活⽤ – “GBDT”や”Deep Learning”など⾼精度を企図するモデリング⼿法を採⽤ – しかし、⽋点は構造が複雑でブラックボックスとなること • モデルの“解釈性”が今後の論点となる – 複雑なモデルを、簡単に説明する⽅法論に関する”実務的な”研究が急務 – 与信モデルに求められる「解釈性」について議論を要する ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 27

参考⽂献 ©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 28 1 Adadi, Amina. et al. (2018) "Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI)" IEEE Access, 6, 52138- 52160. 2 BankAI.(2018), https://www.americanbanker.com/conference/bank-ai-2018/agenda 3 Merrill, Douglas C. et al.(2015)“System and method for building and validating a credit scoring function” US2015/0019405. 4 Forbes JAPAN. (2018) 『マイクロソフトが提携、金融に特化のAI企業「ZestFinance」の実力』, http://news.livedoor.com/article/detail/15771134/ 5 原聡,「AIの説明」の現状とこれから, http://www.soumu.go.jp/main_content/000587311.pdf 6 King, Brett.(2018) "Bank 4.0: Banking everywhere, never at a bank" Marshall Cavendish International (Asia) Pte Ltd. 7 Lundberg, Scott M. et al.(2017) "A unified approach to interpreting model predictions", NIPS, 4765-4774, [GitHub] https://github.com/slundberg/shap 8 廉薇ほか(2019)『アントフィナンシャル』みすず書房. 9 Ribeiro, Marco Tulio.(2016) "Why should i trust you?", Proceedings of the 22nd ACM SIGKDD, 1135-1144, [GitHub] https://github.com/marcotcr/lime 10 坂本達夫(2013)「新局面を迎えた消費者金融市場」(『JRI レビ ュー』Vol.7, No.8, p.107-127). 11 YANG, Qiangpeng. (2017)"METHOD AND APPARATUS FOR ACQUIRING SCORE CREDIT AND OUTPUTTING FEATURE VECTOR VALUE", WO2017148269

©Financial Engineering Group,Inc.All Rights Reserved. 禁無断転載・複写・閲覧 29