Oracle Data Miner:GLM

Copyright © 2018 Oracle and/or its affiliates. All rights reserved.
Oracle Data Miner ハンズオン「GLMの機能選択と機能生成」日本オラクル株式会社ソリューション・エンジニアリング統括クラウド・プラットフォーム本部 2018年12月

以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を⾏う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。 Oracle と Java は、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。 2

概要 ▪このハンズオンでは、Oracle Database 18.2上でデータマイニング・アクティビティを実⾏するためのOracle Data Miner 18.3を使用します。 ▪このハンズオンでは、GLM（一般化線形モデル）の拡張機能（機能の選択および機能の生成）を使用する方法について説明します。 3

4 Data Miner のハンズオン

シナリオの解説およびアジェンダ 5 データマイニングにおける一般的な手法は、個々のデータについてできるだけ多くの情報を収集し、その中から有益である可能性のデータをフィルタリングすることです。今回のシナリオでは、「ある会社が、顧客の性別を予測する上で最も重要な顧客属性を、分類の学習アルゴリズムで分析」するというストーリーで進⾏します。 STEP① 新規プロジェクトを作成します。 STEP② 新規ワークフローを作成します。 STEP③ 保有している顧客情報と販売情報をワークフローに追加します。 STEP④ 販売データを集計し、顧客データと結合して、分析を⾏える状態にします。 STEP⑤ 分類構築の対象となるターゲット属性、アルゴリズムなどを設定し、分類モデルを作成します。ワークフローの作成データソースの追加データの集計分類モデルの作成プロジェクトの作成モデルの作成データの参照データの集計と結合ワークフローの完成形

6 プロジェクトの作成ワークフローの作成データソースの追加データの集計分類モデルの作成プロジェクトの作成

プロジェクトの作成 7 「Data Miner」タブを開きます。「Data Miner」タブが開いていない場合、「表示 > Data Miner > Data Minerの接続」を選択します。 Data Minerユーザ（dmuser）が作成され、 SQL Developer から接続されている状態になります。１１「dmuser」を右クリックし、「新規プロジェクト」を選択します。２２ワークフローの作成データソースの追加データの集計分類モデルの作成プロジェクトの作成

プロジェクトの作成 8 ワークフローの作成データソースの追加データの集計分類モデルの作成プロジェクトの作成プロジェクトの作成ウィンドウで、「名前」欄に「SH Schema」と⼊⼒し「OK」をクリックします。「コメント」欄はプロジェクト概要などのメモに活用できます。これはいつでも変更可能です。３３新規プロジェクトが「dmuser」の下に表示されます。４４

9 ワークフローの作成データソースの追加データの集計分類モデルの作成プロジェクトの作成ワークフローの作成

10 データソースの追加データの集計分類モデルの作成プロジェクトの作成ワークフローの作成プロジェクト「SH Schema」を右クリックし、「新規ワークフロー」を選択します。１１「ワークフローの作成」ウィンドウで「名前」欄に「Predicting Customer Gender」と⼊⼒し「OK」をクリックします。２２ワークフローの作成

11 データソースの追加ワークフローの作成データの集計分類モデルの作成プロジェクトの作成データソースの追加

データソースの追加 12 ワークフローの作成データの集計分類モデルの作成プロジェクトの作成データソースの追加ワークフローに「データソース」ノードを2つ追加します。それぞれ、データソースとして「SH.CUSTOMERS」と「SH.SALES」表を選択します。 (a)「コンポーネント」の「データ」グループを開くと、6つのデータノードが表示されます。 (b)「データソース」ノードをワークフローにドラッグ＆ドロップします。 (c) ワークフローに「データソース」ノードが表示され、「データ・ソースの定義」ウィザードが開きます。１１ ※ ワークスペース上のノード名とモデル名は自動生成されます。今回「データソース」という名前で生成されましたが、異なる名称になる場合もあります。これらの名前をクリックして変更、もしくはプロパティ・タブから変更可能です。 c c b b a a

13 ワークフローの作成データの集計分類モデルの作成プロジェクトの作成データソースの追加 (a)「他のスキーマからの表を含める」チェックボックスを選択し、「スキーマ・リストの編集」ウィンドウが表示されます。 ※データソースノードでは、現在のアカウントのテーブルに加えて、使用権限のある他のアカウントのテーブルを選択することもできます。ここで、SHスキーマのCUSTOMERSとSALESテーブルを使用します。事前にこの2つのテーブルを明示的に指定したSELECT権限をdmuserに付与する必要があります。 SQL> GRANT SELECT ON SH.CUSTOMERS TO DMUSER; SQL> GRANT SELECT ON SH.SALES TO DMUSER; (b)「スキーマ・リストの編集」ウィンドウで「はい」をクリックします。 (a)「使用可能なスキーマ」リストから「SH」を選択します。(b)「OK」をクリックします。 2 2 a a b b 3 3 a a b b

14 ワークフローの作成データの集計分類モデルの作成プロジェクトの作成データソースの追加 (a)「使用可能な表／ビュー」リストから「SH.CUSTOMERS」を選択します。 ※ウィザード下部にタブが２つあり、選択表の内容を表示できます。「列」タブには、表構造についての情報が表示され、「データ」タブには選択した表もしくはビューのデータの一部が表示されます。 (b)「終了」をクリックします。ノード名が選択した表名に更新され、このノードのプロパティが「プロパティ」タブに表示されます。「プロパティ」タブが開いていない場合、「表示 > プロパティ」を選択します。 4 4 5 5 a a b b

15 ワークフローの作成データの集計分類モデルの作成プロジェクトの作成データソースの追加同様の手順で「SH.SALES」表でSALESというデータソースを作成します。 6 6

16 データの集計ワークフローの作成データソースの追加分類モデルの作成プロジェクトの作成データの集計

データの集計 17 変換ノードグループには、ワークフロー内で使用するために、データを変換するためのツールが多数用意されています。この部分では以下のことを⾏います。  集計ノードを使用して、販売データ（SALESテーブル）のAMOUNT_SOLDおよび QUANTITY_SOLDメジャーを集計します。  集計された販売データを新しいテーブルに格納します。  結合ノードを使用して、集計された販売データと顧客データ（CUSTOMERSテーブル）を結合します。「コンポーネント」の「変換」グループより、「集計」ノードをワークフローに追加します。 ※ マークはノードが不完全であることと、追加の作業を⾏わないと「実⾏」できないことを示します。ワークフローの作成データソースの追加分類モデルの作成プロジェクトの作成データの集計 1 1

18 ワークフローの作成データソースの追加分類モデルの作成プロジェクトの作成データの集計「SALES」データソースノードを右クリックして「接続」を選択し、接続先である「集計」ノードクリックして、２つのノードを接続します。集計ノードを編集します。「集計」ノードをダブルクリックし、「集計ノードの編集」ウィンドウを表示します。「編集」をクリックします。 2 2 3 3 4 4 2 2 3 3 4 4

19 ワークフローの作成データソースの追加分類モデルの作成プロジェクトの作成データの集計グループ化基準の列を選択します。 (a)「使用可能な属性」リストから「CUST_ID」を選択します。 (b)「OK」をクリックします。「集計ノードの編集」ウィンドウに戻ります。「集計ウィザード」ボタンをクリックします。 5 5 6 6 a a b b 6 6

20 ワークフローの作成データソースの追加分類モデルの作成プロジェクトの作成データの集計 (a)「集計の定義」ウィンドウが表示されます。「ファンクション」リストから「COUNT(DISTINCT())、SUM()、MAX()、MEDIAN()、AVG()」選択します。 (b)「次」をクリックします。 (a)「列の選択」画⾯で「使用可能な属性」リストから「AMOUNT_SOLD、 QUANTITY_SOLD」を選択します。 (b)「次」をクリックします。 7 7 8 8 a a b b a a b b

21 ワークフローの作成データソースの追加分類モデルの作成プロジェクトの作成データの集計集計のサブグループ化を定義します。 (a)「サブ・グループ化の選択」画⾯で「使用可能な属性」リストから「PROD_ID」を選択します。 (b)「終了」をクリックします。「集計ノードの編集」ウィンドウで「OK」をクリックします。 a a b b 10 10 9 9 10 10

22 ワークフローの作成データソースの追加分類モデルの作成プロジェクトの作成データの集計データを集計します。ワークフロー画⾯で「集計」ノードを右クリックし、「実⾏」を選択します。 ※実⾏中はノード上に緑のギアアイコンが表示され、ワークフロー上部にステータスが表示されます。実⾏が完了するとSALESノードと集計ノードの上に緑色の「✔」が表示されます。 11 11 11 11

23 ワークフローの作成データソースの追加分類モデルの作成プロジェクトの作成データの集計 1 1 集計した結果をテーブルに格納します。「コンポーネント」の「データ」グループで、「表またはビューの作成」ノードをワークフローにドラッグ＆ドロップします。「集計」ノードを右クリックして「接続」を選択し、接続先である「表またはビューの作成」ノードクリックして、２つのノードを接続します。「表またはビューの作成」ノードの名前を「Create Table」に変更します。 2 2 3 3 1 1 2 2 3 3

24 ワークフローの作成データソースの追加プロジェクトの作成データの集計 4 4 「Create Table」ノードをダブルクリックします。「表またはビュー作成ノードの編集」ウィンドウが開きます。 (a)「自動⼊⼒列の選択」チェックボックスを外します。 (b)「CUST_ID」の「索引」を選択します。(c)「OK」をクリックします。「CUSTOMERS」と「Create Table」データを結合します。「コンポーネント」の「変換」グループで、「結合」ノードをワークフローにドラッグ＆ドロップします。ワークフローに「結合」ノードが表示されます。 5 5 a a b b c c 5 5

25 ワークフローの作成データソースの追加分類モデルの作成プロジェクトの作成データの集計 (a)「CUSTOMERS」ノードを右クリックして「接続」を選択し、接続先である「結合」ノードクリックして、２つのノードを接続します。 (b)「Create Table」ノードを右クリックして「接続」を選択し、接続先である「結合」ノードクリックして、２つのノードを接続します。 (c)「結合」ノードをダブルクリックし、「結合ノードの編集」ウィンドウが開きます。「追加」ボタンをクリックします。 6 6 7 7 a a 7 7 b b c c

26 ワークフローの作成データソースの追加分類モデルの作成プロジェクトの作成データの集計 8 8 (a)「ソース1」リストから「CUSTOMERS」を選択します。 (b)「結合列」リストから「CUST_ID」を選択します。 (c)「ソース2」リストから「Create Table」を選択します。 (d)「結合列」リストから「CUST_ID」を選択します。 (e)「追加」ボタンがクリックします。結合列が下に表示されます。 (f)「OK」をクリックします。 a a b b c c d d e e f f

27 ワークフローの作成データソースの追加分類モデルの作成プロジェクトの作成データの集計 9 9 結合テーブルからCreate TableのCUST_ID列を削除します。 (a)「結合ノードの編集」ウィンドウで、「列」タブを選択します。 (b)「自動設定」チェックボックスを外します。 (c)「Create Table」ノードの「CUST_ID」列を選択します。 (d)「削除」ボタンをクリックします。 (e) 警告ウィンドウが表示され、「はい」をクリックします。 (f)「OK」をクリックします。ここで33列が指定されています。ワークフローに戻り、「結合」ノード上の警告ボタンがなくなったことを確認できます。 10 10 a a b b c c d d e e f f 10 10

28 分類モデルの作成ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成

分類モデルの作成 29 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成 ”顧客の性別を予測する上で最も重要な顧客属性“ の予測を目標としており分類モデルを用います。ここでは、以下の作業を⾏います。  分類ビルドノードからGLM以外のアルゴリズムを削除します。  2番目のGLMアルゴリズムをノードに追加し、機能選択オプションを使用します。  3番目のGLMアルゴリズムをノードに追加し、機能選択と機能生成を使用します。  機能選択は、最も意味のある属性を選択するプロセスです。機能の選択により、より小さいモデルとより速いスコアリングに導く、より少ない予測子でGLMを作成することができます。  機能生成は、属性を新しい機能に結合するプロセスです。機能生成では、GLMは非線形項（最大3次項）を使用し、透明性を向上し、より強⼒なモデルを作成できます。 1 1 「コンポーネント」の「モデル」グループより、「分類」ノードをワークフローに追加します。

30 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成「結合」ノードを右クリックして「接続」を選択し、接続先である「分類ビルド」ノードクリックして、２つのノードを接続します。「分類ビルド・ノードの編集」ウィンドウが開きます。「モデル設定」の部分では、4つのアルゴリズムがリストされています。 (a)「Support Vector Machine、Decision Tree、Naïve Bayes」を選択します。 (b)「削除」ボタンをクリックします。 (c)「モデルの削除」ウィンドウで「はい」ボタンをクリックします。 2 2 3 3 a a b b c c 2 2

31 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成 (a)「ターゲット」リストから、「CUST_GENDER」を選択します。 (b)「ケースID」リストから、「CUST_ID」を選択します。分類モデルは、結合されたデータソースを使用して、顧客が男性か⼥性かを予測します。 (c)「モデル設定」の部分で、アルゴリズム「Generalized Linear Model」を選択します。 (d) ボタンをクリックし、既存のモデルをコピーします。 (a) モデルがコピーされ、新しい名前にが付けられます。新しいモデルを選択します。 (b) 編集ボタンをクリックします。 4 4 5 5 a a b b a a b b c c d d

32 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成 (a)「詳細モデル設定」ウィンドウが開き、1番目のモデルを選択します。 (b)「アルゴリズム設定」タブを選択します。 (c)「機能選択」と「機能の生成」が選択されていないことと「リッジ回帰」が<システム決定>であることが確認できます。 (d) リッジ回帰を「Enable」に変更します。 6 6 a a b b c c d d

33 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成 (a) 2番目のモデルを選択します。 (b)「機能選択」を選択します。リッジ回帰が自動的にDisableになったことを確認できます。 (c)「機能選択」の「オプション」ボタンをクリックします。 (d)「機能選択オプション・ダイアログ」が開きます。ここでデフォルト設定のままで、「OK」をクリックします。 (e)「詳細モデル設定」ウィンドウで「OK」をクリックします。 7 7 a a b b c c e e d d

34 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成 (a)「分類ビルド・ノードの編集」ウィンドウに戻り、2番目のモデルを選択します。 (b) モデルのコピーボタンをクリックします。 (a) コピーした3番目のモデルを選択します。 (b) モデルの編集ボタンをクリックします。 8 8 9 9 a a b b a a b b

35 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成 (a)「アルゴリズム設定」タブを選択します。 (b)「機能選択」と「機能の生成」を選択します。「機能選択」と「機能の生成」の設定はデフォルトのまま利用します。 (c)「OK」をクリックします。「分類ビルド・ノードの編集」ウインドウに戻り、「OK」をクリックします。 10 10 11 11 a a b b c c 11 11

36 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成分類ビルドノードを選択し、プロパティを確認します。3つのGLMアルゴリズムを作成し、テストする準備が整いました。 12 12

37 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成結合されたソースデータに対して3つのGLMモデルを作成します。ワークフローで、「分類ビルド」ノードを右クリックし、「実⾏」してモデルをビルドします。 ※ノードに定義された全モデルが構築・テストされます。実⾏中はノード上に緑のギアアイコンが表示され、ワークフロー上部にステータスが表示されます。構築が完了すると全ノード上に緑色の「✔」が表示されます。 1 1 1 1

38 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成モデルを比較します。「分類ビルド」ノードを右クリックし、「テスト結果の比較」を選択します。分類ビルドタブが開き、「パフォーマンス」タブに3モデルの比較が表示されます。 2 2 2 2 注）数値とヒストグラムの色は異なる場合があります。比較結果には５つのタブが含まれます。「パフォーマンス」タブでは、各モデルについての「予測信頼度」,「平均精度」,「全体精度」という情報を、数値およびグラフィカルな情報として提供します。「パフォーマンス」タブによると、機能選択オプションを利用したGLMが⾼い「全体精度」を出しています。

39 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成「パフォーマンス・マトリックス」タブを選択します。各モデルの「正しい予測%」「正しい予測数」「合計ケース・カウント」「コスト合計」がリストされています。モデルを選択すると、下ではこのモデルによりターゲット値の詳細がリストされます。機能選択を利用したモデルのM（男性）の正しい予測は86%で、リッジ回帰を利用したモデルのM（男性）の正しい予測は60%です。「分類ビルド」ウィンドウを閉じます。 3 3 3 3

40 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成各モデルに関するデータを確認します。性別を予測する上で重要と考えられる属性を比較するために、各モデルの係数タブを確認します。ここで、ターゲット値F（⼥性）を確認します。「分類ビルド」を右クリックし、「モデルの表示」を選択し、1番目のモデルを選択します。5つタブを含めたウィンドウが開きます。 (a)「係数」タブを選択します。 (b) ターゲット値から「F」を選択します。 (c)「絶対値でソート」を外します。 (d)「係数」列を降順でリストします。 4 4 5 5 4 4 b b a a c c d d

41 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成予測を決定する884個の係数がリストされています。最も重要な属性は CUST_MARITAL_STATUSです。他の属性は順に表示されます。このモデルでは機能選択オプションしなかったため、非常に多くの係数が選択されました。ウィンドウを閉じます。６６

42 ワークフローの作成データソースの追加データの集計プロジェクトの作成分類モデルの作成 2番目のモデルを表示します。 (a)「係数」タブを選択します。 (b) ターゲット値を「F」に設定します。 (c)「絶対値でソート」を外します。(d) 係数列をソートします。モデルでは、予測の主な決定要因CUST_MARITAL_STATUSとQUANTITY_SOLD_ATG を示します。CUST_MARITAL_STATUSの値は「Widowed」と「Married」です。３番目のモデルについて、2番目と同様に表示すると、同じ結果を生成しました。これは、ソースデータから生成された追加機能がないことを意味します。このシナリオでは、機能選択と機能生成オプションにより、GLMモデルの透明度を犠牲しなく、精度を向上できます。 7 7 a a b b c c d d 2番目のモデル 2番目のモデル 3番目のモデル 3番目のモデル

43 Appendix：

Oracle Data Miner: 参考資料 • Oracle Data Miner ドキュメント • ※SQL Developerの製品ドキュメントから、 Oracle Data Miner ユーザーズガイドをご参照ください • 18.3 (英語)：https://docs.oracle.com/en/database/oracle/sql- developer/18.3/books.html • 18.1 (日本語)：https://docs.oracle.com/cd/E99987_01/index.htm • Oracle Database 18c • https://docs.oracle.com/cd/E96517_01/books.html • エラー・メッセージ • Data Mining概要 / Data Miningユーザーズ・ガイド / Data Mining APIガイド 44

Oracle Data Miner:GLM

Oracle Data Miner:GLM

Other Decks in Technology

Featured

Transcript