20230726_ビッグデータとデータサイエンスのビジネス活用

by NobuakiOshiro

Slide 1

Slide 1 text

ビッグデータとデータサイエンスのビジネス活⽤ NOB DATA株式会社代表取締役⼤城信晃

Slide 2

Slide 2 text

Copyright © 2023 NOB DATA All Rights Reserved. エグゼクティブサマリ • ビッグデータやデータサイエンス、という⾔葉を聞いたことがあるでしょうか？ • 私たちの⾝の回りにはさまざまな「データ」が蓄積されており、それらを分析しビジネスに活⽤するのがデータサイエンティストの役割です • ⾝近なところでは例えば商品のレコメンド、Web広告、またあまり馴染みはないかもしれませんが銀⾏でお⾦を借りる際の「与信」などにも利⽤されています • データサイエンティストには「データを扱う⼒」「分析をする⼒」「ビジネスに組み込む⼒」が求められます • データサイエンスのスキル・考え⽅があると「なんとなく」の感覚値を「数値で定量化」することができます。また、都合のいい数字や統計に騙されにくくなります。 • また最近流⾏りのChatGPTなどの⼤規模⾔語モデルもデータサイエンス領域の延⻑線上にあります。データサイエンスの考え⽅を知っていれば、⼀定⾃動で分析もできます。 • 本講義を通してビッグデータやデータサイエンスの世界に少しでも興味を持っていただけましたら幸いです

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Copyright © 2023 NOB DATA All Rights Reserved. ⾃⼰紹介⼤城信晃(twitter @doradora09) NOB DATA株式会社代表取締役社⻑ / データサイエンティスト協会九州⽀部委員⻑・住まい沖縄 -> 東京 -> 福岡・職歴ヤフー-> DATUM STUDIO -> LINE Fukuoka -> NOB DATA(株) 創業・運営コミュニティ・過去・Tokyo.R(2010-2016) ・現在・fukuoka.R、PyData.Fukuoka、意思決定のためのデータ分析勉強会、データ分析系勉強会サテライトビューイング、オモシロAIごった煮勉強会、ChatGPT部「AI・データ分析プロジェクトのすべて」の監修・共著者です

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Copyright © 2023 NOB DATA All Rights Reserved. ビッグデータ以前の「データ」 • 「データ」はある事象について観測し、記録をしたものです • 例えば「アンケートデータ」や「国勢調査データ(全数調査)」「購買データ」などがあります • 購買データなどは取引の有無に関わる話ですので、厳密に把握する必要がありますが、例えば「視聴率調査」のようなタスクにおいては、「統計学」を活⽤することで、サンプリング調査により⼤幅にデータ収集のコストを下げることができました視聴率調査 (ビデオリサーチの場合) 7000世帯 / 4000万世帯＝ 0.0175%

Slide 9

Slide 9 text

Copyright © 2023 NOB DATA All Rights Reserved. ビッグデータの蓄積 • その後、POSレジなどの専⽤の機械の普及もデータ蓄積を後押ししましたが、何よりインターネット技術の普及がビッグデータの登場に⼤きな役割を果たしました • ⼤学⽣の皆さんはおそらくインターネットやスマホは当たり前の技術となっていると思いますが、インターネットに関しては 1995年ごろ、スマホに関しては2010年ごろから⼀般への普及が始まりました • それに伴い、データの種類、量も激増。ビジネスシーンにこれらのデータを活⽤できないか、という⽂脈でビッグデータの活⽤ブームが巻き起こりました( 2012年〜 ) 著書「AI・データ分析プロジェクトのすべて」より引⽤ https://gihyo.jp/book/2021/978-4-297-11758-0

Slide 10

Slide 10 text

Copyright © 2023 NOB DATA All Rights Reserved. さまざまな場⾯・デバイスで集まるデータ • 1⽇を振り返ってみると、いろいろな場⾯でデータが発⽣・蓄積されていることがわかりますコンビニで買い物・レシートデータ(POSデータ) ・クレジットカード決済データ・xxPay決済データアクションデータスマホで検索・検索データ(スマホ、サーバー) ・各サービスの利⽤ログクレジットカード審査・個⼈情報・収⼊関係の情報主な⽤途(個別) ・取引履歴・購買分析・レコメンド・広告ターゲティング・カード発⾏可否判断・カードの与信枠の設定

Slide 11

Slide 11 text

Copyright © 2023 NOB DATA All Rights Reserved. 様々なデータを扱う職業：データサイエンティスト • これらのデータを分析し、ビジネスに活⽤できる形にするのがデータサイエンティストの仕事の⼀つです • ⽂理融合の、新たな職種とも⾔えます • 本⽇の講義では最近流⾏りの ChatGPTも使いながら、少しデータサイエンティストの仕事を覗いてみたいと思います引⽤元：データサイエンティストのミッション、スキルセット、定義、スキルレベルを発表 (2014, データサイエンティスト協会) https://prtimes.jp/main/html/rd/p/000000005.000007312.html

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Copyright © 2023 NOB DATA All Rights Reserved. ChatGPTの⼒を借りて簡易レコメンド② • ChatGPTを⽤いたコーディングの例 (Python⾔語でデータセットを作成) • セッションは何回⽬のアクセスか、という指標(多くは最終サイト訪問から30分経過で別セッションになる) 1.ユーザーID (user_id) 2.セッションID (session_id) 3.閲覧した商品カテゴリ (viewed_category) 4.購⼊した商品カテゴリ (purchased_category) 5.閲覧した商品ブランド (viewed_brand) 6.購⼊した商品ブランド (purchased_brand)

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Copyright © 2023 NOB DATA All Rights Reserved. 応⽤：Googleの広告の場合 • 2017年くらいの属性推定ですが、当時私が試したら以下のような形 (ブラウザcookie and/or Googleアカウントに紐づく属性推定) https://adssettings.google.com/authenticated?hl=ja ・レコメンド・広告ターゲティング

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Copyright © 2023 NOB DATA All Rights Reserved. スコアリング技術の使い道 • 前述のレコメンドも⼀種のスコアリングとも⾔えますが、より汎⽤的な使い⽅として「スコアリング」があります • これは「xxする確率」を求めるタスクです • 先ほどであれば「広告をclickする確率」、また実世界では銀⾏ではお⾦を貸す際の「貸し倒れ確率」、他にも天気予報であれば「降⽔確率」などを求めます • 今回はデータ分析の例題としてよく登場する「タイタニック号の乗客の⽣存確率予測問題」を取り上げます

Slide 23

Slide 23 text

Copyright © 2023 NOB DATA All Rights Reserved. 参考：タイタニック号の歴史的背景出典: フリー百科事典『ウィキペディア（Wikipedia）』 “タイタニック号沈没事故（タイタニックごうちんぼつじこ）とは、1912年4⽉14⽇の夜から4⽉15⽇の朝にかけて、イギリス・サウサンプトン発アメリカ合衆国・ニューヨーク⾏きの航海中の4⽇⽬に、北⼤⻄洋で起きた海難事故である。当時世界最⼤の客船であったタイタニックは、1912年4⽉14⽇の23時40分（事故現場時間）に氷⼭に衝突した時には2,224⼈を乗せていた。事故発⽣から2時間40分後の翌4 ⽉15⽇の2時20分に沈没し、1,514⼈が亡くなり、710⼈が⽣還した。これは1912年当時、海難事故の最⼤死者数であった” Wikipediaより引⽤ https://ja.wikipedia.org/wiki/%E3%82%BF%E3%82%A4%E3%82%BF%E3 %83%8B%E3%83%83%E3%82%AF%E5%8F%B7%E6%B2%88%E6%B2%A1 %E4%BA%8B%E6%95%85

Slide 24

Slide 24 text

Copyright © 2023 NOB DATA All Rights Reserved. データから紐解くタイタニック号沈没事故どのような乗客が助かりやすかったのか？出典: フリー百科事典『ウィキペディア（Wikipedia）』 “クルーは遭難信号灯と無線で助けを求め、乗客を救命ボートに乗せた。しかし、それは近くの救助船までの移乗⽤として簡易的に設計されたもので、搭載数もすべての乗船者を載せるにはあまりに少ないものだった。船体沈没の進⾏は予想よりも早かった。やむなくボートには⼥性と幼い⼦供が優先的に乗せられ、多くの男性は強制的に排除されたが、クルーも救助活動に不慣れな者が多く、定員に満たないまま出発するボートもあった。結果的に多数の乗客乗員が船に取り残された。 ” 今回はこの事前情報がない状態で、データから傾向を導きます

Slide 25

Slide 25 text

Copyright © 2023 NOB DATA All Rights Reserved. Kaggleコンペのタイタニック号の⽣存予測問題 • Kaggle、という有名なコンペサイトでデータサイエンティストがまずチャレンジするのが「タイタニック号の⽣存者予測問題」です (⽣存率のスコアリング) • ⽣存率の予測というタスクを通して、データ分析の⼀連の流れを学ぶことができる問題です https://www.kaggle.com/competitions/titanic

Slide 26

Slide 26 text

Copyright © 2023 NOB DATA All Rights Reserved. タイタニック問題のデータセットの例 • 今回は全体の約半分の712件の乗員に関するチケットの種類等のデータと⽣存か否か(Survived、1は⽣存)、についてのデータセットが⼿元にある状態です https://www.kaggle.com/competitions/titanic/data?select=train.csv

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Copyright © 2023 NOB DATA All Rights Reserved. 決定⽊を拡⼤して確認・決定⽊は⽣存・⾮⽣存の分岐条件が⽐較的わかりやすい形で表現することができます (その分、分類精度は他のモデルには劣りますが、解釈しやすい形になります) ⼥性 or 男性⼥性の場合男性の場合年齢分岐 6.5歳以上 6.5歳以下客室の等級 1, 2等客室 3等客室 373名⾮⽣存 72名⽣存 5名⾮⽣存 125名⽣存 444名⾮⽣存 268名⽣存 59名⾮⽣存 56名⽣存 7名⾮⽣存 15名⽣存 380名⾮⽣存 87名⽣存 64名⾮⽣存 181名⽣存

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Copyright © 2023 NOB DATA All Rights Reserved. まとめ：データからの要因分析や予測 • 今回、スコアリングの⼀例としてタイタニック号の⽣存予測問題を取り上げました • また⽣存スコアに寄与する変数や条件を把握することで、事前知識がない状態でもデータから「現場で何が起きていたのか」を⼀定推察することが可能となります(客室の価格や等級も重要な要因) どのような乗客が助かりやすかったのか？出典: フリー百科事典『ウィキペディア（Wikipedia）』 “クルーは遭難信号灯と無線で助けを求め、乗客を救命ボートに乗せた。しかし、それは近くの救助船までの移乗⽤として簡易的に設計されたもので、搭載数もすべての乗船者を載せるにはあまりに少ないものだった。船体沈没の進⾏は予想よりも早かった。やむなくボートには⼥性と幼い⼦供が優先的に乗せられ、多くの男性は強制的に排除されたが、クルーも救助活動に不慣れな者が多く、定員に満たないまま出発するボートもあった。結果的に多数の乗客乗員が船に取り残された。 ”

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Copyright © 2023 NOB DATA All Rights Reserved. 再掲：データサイエンティスト協会のスキル定義 • ⽇本では2014年にデータサイエンティスト協会が設⽴されました • 最初に発表されたデータサイエンティストに必要なスキルセットは以下レコメンドを⽤いたサービス設計サーバーのアクセスログのデータハンドリング(データ整備) レコメンドモデルの構築 (ルールベース or 機械学習)

Slide 34

Slide 34 text

Copyright © 2023 NOB DATA All Rights Reserved. ①レコメンドの例でDSスキルが⽣きる部分 • 「データ」を適切に加⼯する⼒ (データエンジニアリング⼒) • 「統計解析やプログラミング」で分析したり予測モデルの構築をする⼒ (データサイエンス⼒) • それらを「ビジネス」に繋げる⼒ (ビジネス⼒) スマホで検索 (user) ・検索データ(スマホ、サーバー) ・各サービスの利⽤ログ・レコメンド・広告ターゲティングサーバーのアクセスログのデータハンドリング(データ整備) レコメンドモデルの構築 (ルールベース or 機械学習) レコメンドを⽤いたサービス設計

Slide 35

Slide 35 text

Copyright © 2023 NOB DATA All Rights Reserved. ②タイタニックの例でDSスキルが⽣きる部分 • 「データ」を適切に加⼯する⼒ (データエンジニアリング⼒) • 「統計解析やプログラミング」で分析したり予測モデルの構築をする⼒ (データサイエンス⼒) • それらを「ビジネス」に繋げる⼒ (ビジネス⼒) タイタニック号の事故・乗客名簿・事故から⽣還したか否か・⽣存率スコアリング・⽣存要因分析データをテーブルデータに加⼯スコアリングモデル構築再発防⽌に向けた意思決定の⽀援⽣存要因の分析スコアリング技術の他分野への活⽤

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Copyright © 2023 NOB DATA All Rights Reserved. ChatGPTとは • OpenAI社が開発した⼤規模⾔語モデル (LLM) と呼ばれるAI https://openai.com/blog/chatgpt • 無料版(GPT-3.5)と有料版(GPT-4)、あと APIがある (⽉額20ドルかかりますが、有料版をおすすめ。家庭教師よりやすい) • 2022年11⽉末にリリースされ、わずか２ヶ⽉で1億ユーザーを獲得する今⼀番ホットなサービス • プログラミングやデータ分析もできます

Slide 39

Slide 39 text

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Copyright © 2023 NOB DATA All Rights Reserved. 何ができるのか？：要約 • 記事の要約もできる • 例えば以下のNEWS (修正前は2400字程度) • 岸⽥⾸相「チャット GPT」アルトマンCEO と⾯会学習へ悪影響懸念の声もある中萱野⽒「”禁⽌ではなく活⽤”模索が重要」 • https://news.yahoo. co.jp/articles/8a6df ecf0dfc9b46adf3732 b0c2034118760aee4

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Copyright © 2023 NOB DATA All Rights Reserved. 何ができるのか？：データ分析や考察 • データを渡して考察、というのもすぐできる (ただし、計算はまだ苦⼿) • 例えば右は⼈⼝分布のデータを与えて考察してもらった例 • 0歳から100歳以上まで、１歳区切りのデータデータソース：https://www.stat.go.jp/data/jinsui/2021np/index.html

Slide 50

Slide 50 text

Slide 51

Slide 51 text

Slide 52

Slide 52 text

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Copyright © 2023 NOB DATA All Rights Reserved. ChatGPT活⽤の注意点３つ情報漏洩に気をつける • ChatGPTの無料版は学習データに使われる可能性があるため、個⼈情報や秘密の情報などは投稿しないように気を付けてください ChatGPTのウソに騙されない • ChatGPTは確率的に⽂章を作成しているため、たまに間違った回答もします(not 検索エンジン) • 結果を鵜呑みにするのではなく、批判的思考、またエビデンスを⾃分で探すなどの検証能⼒が重要になります情報が古い事に留意する • ChatGPTは2021年9⽉までのデータを基に学習をしているため、それ以降のNEWSについては疎いです • ただし、後述するChatGPT-4のプラグインを使えば検索も可能となります

Slide 55

Slide 55 text

Slide 56

Slide 56 text

Slide 57

Slide 57 text

Slide 58

Slide 58 text

Copyright © 2023 NOB DATA All Rights Reserved. ③学習カリキュラム作成 • データ分析のカリキュラムを ChatGPTに作ってもらう⽅法 • GPT-4のプラグイン、またはプログラムが使えるCode Interpreter を使うことをお勧めします (ChatGPT⾃体は暗算なので、間違えることがあるため) • 問題を作ってもらって、採点してもらうなども可能。完全に⾃分専属の家庭教師

Slide 59

Slide 59 text

Copyright © 2023 NOB DATA All Rights Reserved. ④プログラミング込みで学習 • 例えば、ChatGPT-4のnoteableプラグインを使うと実際のコードも⾒ながら学習が可能です (noteableはPythonとR⾔語に対応、Code InterpreterはPython⾔語のみ対応) • プログラミングを教えてもらうだけでなく、問題を作って採点してもらったり、レビューしてもらうことも可能です https://app.noteable.io/f/d83fef3b-540c-4e32-b5c8- 02be476f043f/Decision_Tree_Analysis.ipynb

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Copyright © 2023 NOB DATA All Rights Reserved. ⑤その他、Tips • ChatGPTは答えを教えてくれるだけでなく「コーチング」も可能です。その場合は「ディスカッションしましょう」であったり「必要に応じて私に質問を投げかけてください」というように指⽰(プロンプト)を出すのがコツです • またChatGPT-4はおよそ直近の1.6万⽂字までの会話しか記憶できません。古い情報については忘れるため、⻑期で議論する場合は「ここまでの議論をサマリしてください」と伝えることで、議論を振り返り最初の⽬的を思い出すことができます

Slide 62

Slide 62 text

Slide 63

Slide 63 text

Copyright © 2023 NOB DATA All Rights Reserved. まとめ • インターネットの発明以来、これまでは蓄積できなかった様々なデータが⼿軽に利⽤できるようになりました。これらをビジネスに活⽤しようという職業がデータサイエンティストです。 • データサイエンティストの代表的なタスクとして、レコメンデーションやスコアリング、が挙げられます。これらは例えばECサイトのレコメンドのように⾒えやすいものもあれば、広告の最適化や銀⾏での与信の推定など、仕組みの裏側で動いていることも多々あります • ⼤量のデータから価値のある情報を引き出すためには「プログラミング」のスキルは必須です。また「統計学」や「機械学習」といった知識もあると、より⾼度な分析が可能となります • データサイエンスを学習する⽅法は⾊々ありますが、今回は2022年11⽉末に登場したOpenAI社の ChatGPT-4を⽤いて⾃⼰学習を進める⽅法について説明しました • データの世界も⾯⽩いので、もしご興味が湧きましたら⾊々と試してみてください

Slide 64

Slide 64 text