米国の一人当たりの労働生産性は日本に比べて1.5倍ほどです。
生産性を高めるためには創意工夫と変化が必要ですが、変化を作り出す米国企業と、変化への対応を迫られる日本企業の特徴は対照的で、その特徴は情報システムにも表れています。
典型的なのは、RDBでなければならないシステムはかなり少なくなっていますが、日本では今でも昔と同じようRDBを使っています。なぜ、そうなるのか?
イマドキのデータベースの選び方から探りたいと思います。
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE 5IBOLJU$P -UE"MMSJHIUT3FTFSWFE*5ถ֨ࠩσʔλϕʔεʹ͋ΓʂΦʔϓϯιʔειϑτΣΞڠձ ཧࣄגࣜձࣾαϯΫΠοτ දऔకɺ*5ίϯαϧλϯτதԝେֶ ࠃࡍใֶ෦ ใ࢈ۀʹ͓͚Δਓతࢿݯཧ ߨࢣࣉᖒ৻༞גࣜձࣾ65* දऀࡉҪެٛ
View Slide
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE• Ҏ্ɺ*5ۀքʹͯɺϓϩάϥϚʔɺӦۀɺϏδωε։ൃɺϚʔέςΟϯάʹैࣄ• ӳࠃΣʔϧζେֶͰܦӦֶम࢜ʢ.#"ʣΛऔಘ• αϯɾϚΠΫϩγεςϜζͷফ໓ͱͱʹձࣾһੜ׆Λऴ͑ͯಠཱ• *5ࢿ͚ͩͰɺاۀՁΛߴΊΔ͜ͱ͕Ͱ͖ͳ͍ͱײͯ͡ʮসإͰ໌Δ͘લ͖ʹಇ͘ਓΛ૿͍ͨͦ͠Μͳ৬Λ࡞Γ͍ͨʂʯͱ͍͏ࢥ͍͔Βਓࡐ৫ίϯαϧςΟϯάͷʮגࣜձࣾαϯΫΠοτʯΛઃཱ• ͦͷଞ– ӳࠃΣʔϧζେֶɿ৫ߦಈ ߨࢣ– தԝେֶ ࠃࡍใֶ෦ɿใ࢈ۀʹ͓͚Δਓతࢿݯཧ ߨࢣࣗݾհ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE ࣉᖒʹΑΔఏى άϥϑσʔλϕʔεͷۀքඪ४Ͱ͋Δ/FPKͷຊਖ਼ࣜཧళͰ͋Δ65*ࣾ ࡉҪද͔Βͷղઆ ࣉᖒʹΑΔ·ͱΊ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE͔Β·Ͱͷ*5ࢿͷ৳ͼຊɿഒ ถࠃɿ̒ഒ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE*5ੜ࢈ੑ্ʹͦΕͳΓʹد༩͍ͯ͠Δ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE̍ਓͨΓ໊(%1ʢɺɺɺʣຊ ͔Β ͠ഒʣถࠃ ͔Β ͠ഒ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE• Ͱɺ%9%9ͱ૽͍Ͱ͍·͕͢ɺถࠃͰ͋·Γ૽͕Ε͍ͯͳ͍ʂʁ• %9ͷతʢ +&*5"*%$+BQBOௐࠪʣ– ຊاۀɿطଘϏδωεΛม͑ΔతͰ%9Λਪਐ͢Δέʔε͕ଟ͍– ถࠃاۀɿ৽͍͠ϏδωεΛͭ͘Δ͜ͱΛతʹ͍ͯ͠ΔԿ͕ҧ͏ʁ ถͷσδλϧԽ%9
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFEةػҙࣝʹΑͬͯτϥϯεϑΥʔϜͨ͠ձࣾاۀ໊ సલ సޙఱಊ Ֆࡳ ిࢠήʔϜɺͦͷଞαϯϦΦ ݜͷൢച খൢചɺΩϟϥΫλʔιϑτόϯΫ ιϑτΣΞྲྀ௨খച Πϯλʔωοτɺܞଳిɺͦͷଞ%F/" ωοτΦʔΫγϣϯ ήʔϜࣄۀ࢜ϑΠϧϜ ࣸਅϑΟϧϜɺσδΧϝ ҩྍɺԽহ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFEةػҙࣝʹΑͬͯτϥϯεϑΥʔϜͨ͠ձࣾͷ֎ݟ্ͷมԽച্ɾརӹ࣌ؒطଘࣄۀτϥϯεϑΥʔϜ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE࣮τϥϯεϑΥʔϜ͍ͯ͠ͳ͔ͬͨʁച্ɾརӹ࣌ؒ৽نࣄۀطଘࣄۀτϥϯεϑΥʔϜ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFEΞοϓϧͷചΓ্͛ൺApple ComputerToApple
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFEΞϯκϑͷϚτϦΫεࢢ ৽ن৽نطଘطଘ ࢢਁಁઓུ৽։ൃઓུࢢ։ઓུଟ֯ԽઓུτϥϯεϑΥʔϜτϥϯεϑΥʔϜ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE• ͨΓલ͕ҧ͏– ถࠃͷͨΓલɿมԽ͠ͳ͚Εෛ͚Δ͔ΒมԽવ– ຊͷͨΓલɿͳΔ͘ݱঢ়ҡ࣋ʢม͍͑ͨͱࢥ͏͔Β%9͕ྲྀߦʂʁʣ• ถࠃاۀ– มԽී௨Ͱɺී௨ͳมԽʹγεςϜ͕ରԠ– %9৽نϏδωε• ຊاۀ– มԽ͕ී௨͡Όͳ͍͔Βɺ%9ͰมԽ͍ͨ͠– %9طଘϏδωεͷมԽطଘϏδωεΛม͑ͨͯ͘ม͑ΒΕͳ͍ຊاۀʂม͑ΔͨΊʹ׆༻͍ͨ͠%9͚ͩͲỏຊ࣭తʹݱঢ়ҡ͍࣋ͨ͠Ố%9͕ਐ·ͳ͍Θ͚ͩỖ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFEΤϯδχΞͲΜͳاۀͰಇ͍͍ͯΔ͔ʁΤϯυϢʔβاۀΠϯςάϨʔλ ΤϯυϢʔβاۀΠϯςάϨʔλ%9Λਪਐ͢ΔͷΠϯςάϨʔλͰͳ͘ΤϯυϢʔβʔاۀී௨ͳมԽʹී௨ʹରԠ͍ͯ͠ΔͷΤϯυϢʔβʔاۀถࠃຊ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE• ΤϯυϢʔβʔاۀʹΑΔओମతͳςΫϊϩδʔબͷҧ͍Ͱʁ– ถࠃاۀɺมԽʹڧ͍ςΫϊϩδʔΛ͍͍ͨ– ຊاۀɺ͍׳ΕͨςΫϊϩδʔΛ͍͍ͨ• σʔλϕʔεʹେ͖ͳҧ͍͕͋Δʁ– ถࠃɿάϥϑ%#ʢ৽͍ٕ͠ज़ʣ͕ଟ͘ΘΕ͍ͯΔ– ຊɿ3%#ʢ͍ݹ͞Εٕͨज़ʣ͕ଟ͘ΘΕ͍ͯΔͱ͍͏͜ͱΛ౿·͑ͯɺ65*ͷࡉҪ͞Μʹ͓ฉ͖·͠·͢ɻຊاۀͱถࠃاۀͷҧ͍ͬͯɾɾɾ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE /FPKɺݱࡏͷ3%#.4ʹରͯ͠ɺͲͷΑ͏ͳ՝ײ͔Β։ൃ͞ΕͨΜͰ͔͢ʁ ੈքͷ%#τϨϯυΛݟΔͱɺ0SBDMFɺ.Z42-ɺ.442-4FSWFS͕ෆಈͳͷΘ͔Δͷͷɺ.POHP%#ɺ3FEJTɺ/FPKͳͲͷ/P42-%#͕૿Ճ͍ͯ͠Δͷͳ͔ͥʁ /FPKͲΜͳσʔλछྨɺͲΜͳγεςϜ͕ಘҙͳͷ͔ʁ ͳͥɺ/FPKมԽʹڧ͍ͱݴ͑Δͷ͔ʁࡉҪ͞Μͷ࣭
Copyright © 2020 UTI Inc. All Rights Reserved.1A Graph Technology CompanyຊͰ།Ұͷ/FPK"VUIPSJ[FE%JTUSJCVUPSͱͯ͠ɺάϥϑσʔλϕʔε/FPKͷσΟετϦϏϡʔγϣϯΛߦ͍ͬͯ·͢ɻάϥϑ%#ɾ/FPKʹؔ͢ΔØ ϞσϦϯάØ ϥΠηϯεɾσΟετϦϏϡʔγϣϯØ αϙʔτØ ϢʔεέʔεͳͲใఏڙØ τϨʔχϯάØ ίϛϡχςΟʔɾαϙʔτ
Copyright © 2020 UTI Inc. All Rights Reserved. 2ελοϑհࡉҪ ެٛגࣜձ̪̩̞ࣾදऔకུྺຊੜ໋ɺϞϧΨϯɾελϯϨʔʢ౦ژʣɺιγΤςɾδΣωϥϧূ݊ʢ౦ژʣΛܦͯɺฏ̍̔גࣜձ̪̩̞ࣾઃཱɻҊӜ ߒೋגࣜձ̪̩̞ࣾ $50/FPKϢʔβʔάϧʔϓɾϑΝϯμʔೝఆ/FPKϓϩϑΣογϣφϧ/FPKΞϯόαμʔ/FPK/JOKBೝఆεΫϥϜϚελʔೝఆεΫϥϜϓϩμΫτΦʔφʔུྺ࢈ۀೳେֶใϚωδϝϯτֶ෦uݱϚωδϝϯτֶՊଔۀ
Copyright © 2020 UTI Inc. All Rights Reserved. 3
Copyright © 2020 UTI Inc. All Rights Reserved.利点①:超⾼速グラフ演算交渉の記録Element DependsOnA BA CA DC HD JE FE GF JG LH IJ NJ ML M質問: AはMに依存しているか??
Copyright © 2020 UTI Inc. All Rights Reserved.利点①:超⾼速グラフ演算交渉の記録質問: AはMに依存しているか?AM同じデータのグラフ表現一目瞭然…これ、人の思考回路の話だけではなく、DBでも同じです。
$PQZSJHIU65* *OD"MM3JHIUT3FTFSWFEϢʔεɾέʔεύϑΥʔϚϯεվળͱޮԽͷࣄྫ"EPCF#FIBODFͷέʔε
Copyright © 2020 UTI Inc. All Rights Reserved.Adobe Behance7EE Customer since 2016 QϢʔεέʔεØ ສਓͷάϥϑΟοΫΞʔςΟετͷιʔγϟϧωοτϫʔΫØ ࡞ͷΦϯϥΠϯɾγϣʔέʔεػೳͷఏڙϏδωε՝Ø ΞΫςΟϏςΟɾϑΟʔυʢ৽نߘͷϑΥϩϫʔͷใϑΟʔυʣͷޮԽ
Copyright © 2020 UTI Inc. All Rights Reserved. 8従来のアクティビティ・フィードCassandra DBを用いて48台のマシンで50TB近いデータセットブロードキャストに15分!ϑΥϩϫʔͷϑΟʔυϑΥϩϫʔͷϑΟʔυϑΥϩϫʔͷϑΟʔυϑΥϩϫʔ9ͷϑΟʔυ"͞Μͷ৽ن࡞ߘ 書き込みʜ
Copyright © 2020 UTI Inc. All Rights Reserved. 9新しいNeo4jでのアクティビティ・フィード
Copyright © 2020 UTI Inc. All Rights Reserved.UXの向上બ߲ͨ͠$BTTBOESB /FPK̍ ඵ ඵ̐ ඵ ඵ̍̏ ඵ ඵฏۉॲཧ࣌ؒʢඵʣ
Copyright © 2020 UTI Inc. All Rights Reserved./FPKͷޮՌ߲ ޮՌ $BTTBOESB /FPKαʔόʔ ˋݮ ! ετʔϨʔδ ݮ! 5# (#ϒϩʔυΩϟετ࣌ؒ ݮ! ΄΅ॠ࣌αʔόʔίετ ສˈݮ! ʔ ʔϝϯςφϯε࣌ؒ ˋݮ ! ʔ ʔݕࡧॲཧ࣌ؒ ݮ ! ඵ ඵػೳվળ େ෯վળ ! ʔ ʔ
Copyright © 2020 UTI Inc. All Rights Reserved.グラフDB登場 = ビッグデータの時代RDBの限界への対応1. データ量の爆発2. データ速度の爆発n ピーク時データ流⼊量n データ構造変化のスピード3. データの多様化n 構造化データ vs ⾮構造化データn 個別的データ vs 接続データ12By Ender005 - Own work, CC BY-SA 4.0,https://commons.wikimedia.org/w/index.php?curid=49888192ΩʔόϦϡʔ ϫΠυΧϥϜ υΩϡϝϯτ 3%# άϥϑ%#⼩ データの複雑度 ⼤複雑なデータ処理が可能処理の分散がしやすい出典:渡部 徹太郎 他. 「RDB技術者のためのNoSQLガイド」
Copyright © 2020 UTI Inc. All Rights Reserved.世界は表構造で出来ているのか?13personpID 名前 職業1 太郎 医者2 次郎 プログラマーgID 商品名 価格G10001 Tシャツ 3,000円G10002 ケトル 5,000円G10003 鍋 8,000円pID gID date1 G10001 2020/10/232 G10001 2020/11/032 G10002 2020/10/01goodspurchase_goods
Copyright © 2020 UTI Inc. All Rights Reserved.世界は表構造で出来ているのか?14pID: 1名前:太郎職業:医者pID: 2名前:次郎職業:プログラマーgID: G10001商品名:Tシャツ価格:3000円gID: G10002商品名:ケトル価格:5000円gID: G10003商品名:鍋価格:8000円
Copyright © 2020 UTI Inc. All Rights Reserved.世界はグラフ構造で出来ている15⾦融取引NEARNEARVISITEDNEARMANAGESVISITEDNEARVISITEDVISITEDVISITEDVISITEDVISITEDパンデミック・トラッキングInfrastructure MaintenanceHealth CareSocial Serviceseガバメント⼈間関係KnowsKnowsKnowsKnowsBoughtBoughtViewedReturnedBoughtビジネス・プロセス 電⼦ネットワークgID: G10002商品名:ケトル価格:5000円
Copyright © 2020 UTI Inc. All Rights Reserved.企業内にも存在する様々なグラフ16BOM/サプライ・チェーングラフクレーム/保証分析グラフ顧客360°グラフナリッジ・グラフ(例)•在庫の最適化•製品に必要な全部品の抽出およびコスト算出•ある部品に不具合が⽣じた際、ロット情報を辿って影響の及ぶ範囲を特定(例)•顧客離脱の未然防⽌•顧客エクスペリエンス向上•クロスセルなど提案⼒向上など•様々な事柄への基本情報顧客ニーズ、部品調達、マーケット分析などϓϩμΫτใ ސ٬ใ Πϕϯτใ৫ใαʔυόʔςΟʔσʔλจॻઃඋϓϩηεγεςϜ͓Αͼσʔλϕʔε,1*͓Αͼ ֤छใࠂݸਓใސ٬ؒؔੑใจॻϓϩηεϓϩμΫτৄࡉϓϩμΫτߏ#0.ʢ෦දʣηϯαʔใอূ͓ΑͼΫϨʔϜΧελϚʔίϯλΫτιʔγϟϧϝσΟΞϚʔέοτใ৫ߏձࣾใαϓϥΠνΣʔϯσʔλαϓϥΠϠʔใྲྀใࡏݿใσΟʔϥใその他ネットワーク管理インフラ管理コンプライアンス対応⼈事管理など企業内データ
Copyright © 2020 UTI Inc. All Rights Reserved.グラフDB Neo4jの特徴17データ構造の柔軟性(アジャイル性能)• 運⽤しながら新しいデータ構造の導⼊が可能• 関係性の記録が容易(=新たな関係性の為の新たなテーブルを必要としない)• DBサイドのクエリで出来ることが増えている← 開発効率の⼤幅向上• プロパティ・グラフ・モデルCARDRIVESname: “Dan”born: May 29, 1970twitter: “@dan”name: “Ann”born: Dec 5, 1975since:Jan 10, 2011brand: “Volvo”model: “V70”Latitude: 37.5629900°Longitude: -122.3255300°MARRIED TOLIVES WITHOWNSPERSON PERSON※ スキーマ定義が不要!超⾼速グラフ演算• データ間の関連付⽅法の違いNeo4jデータをダイレクトに接続 → ⾼速化!RDB関係性は、keyで探す• (関係性の演算が多く)バッチ処理していたプロセスのリアルタイム化(例)リコメンデーションの為の夜間バッチをリアルタイム化に成功。いち早くマーケット・トレンドにキャッチアップして成功• 今まで、数分〜数時間かかってた検索が、数⼗ミリ秒(例)SNSでのブロードキャスト時間が、15分から瞬時に!(例)リコール部品発⽣時の影響範囲調査が瞬時に!Robert Berlin各ノードが接続先アドレスを保持。つまり、つながっている。(「keyで探す」ことなく、「探せる」)ビジネス/開発ニーズ変化への柔軟な対応 リアルタイム化などDBで複雑なデータ処理が可能
Copyright © 2020 UTI Inc. All Rights Reserved.利点②:データ構造の柔軟性18ノードl上図で○で表されているもの。l分類⽤ラベルが付与出来ます。l概念上の⼀まとまりのものであれば、なんでもノードに出来ます。(例)⼈物、会社、性別や種類といった分類、結婚や⼤学⼊学というイベント、正常・異常といった状態リレーションシップl上図の↑で表されているもの。lタイプ名を付与出来ます。l⽅向があります。プロパティーlノードおよびリレーションシップは、プロパティを持てます。l上図のCARであれば、brand、model、Latitude、Longitudeなどがプロパティーです。ノードおよびリレーションシップのデータ構造新しい事象への対応が簡単かつ柔軟!‥brand:”TOYOTA”model:”Crown-2015”名前:”Ann”⽣年⽉⽇:2005/6/1名前:”Dan”⽣年⽉⽇:1995/1/1MARRIED_TOLIVES_WITHOWNSDRIVESデータの構成要素メーカー:トヨタモデル:クラウン年式:2015名前:”Ann”⽣年⽉⽇:2005/6/1名前:”Dan”⽣年⽉⽇:1995/1/1MARRIED_TOLIVES_WITHOWNSDRIVES_REFUEL⽇時:2020/4/1場所:皇居前ENEOS量:10リットル⾦額:1300円_REFUEL_REFUEL_REFUEL[拡張1]給油記録が必要になった場合…INVOLEVED⽇時:2020/4/1場所:⻄⿇布交差点メーカー:⽇産モデル:シーマ年式:2015INVOLEVED[拡張2]事故を記録する必要がでた場合…名前:”Taro”⽣年⽉⽇:1990/5/1DRIVESNEGO⽇時:2020/4/30内容:⽰談詳細:●●●●NEGONEGONEGO事故の相⼿⽅情報 交渉の記録従来システムシステム拡張システム拡張時(例)
Copyright © 2020 UTI Inc. All Rights Reserved.利点③:DBでの複雑なデータ処理が可能アプリ開発が変わりますUI(⼊⼒)Neo4jデータ抽出&加⼯アプリ側後処理アプリ側前処理UI(出⼒)UI(⼊⼒)DBデータ抽出 アプリ側後処理アプリ側前処理UI(出⼒)DBで⾏うことが増えアプリで⾏うことが減るNeo4j従来のDBDBが、かなりの程度の加⼯開発/メンテナンス⼯数・納期・コストの削減
Copyright © 2020 UTI Inc. All Rights Reserved. 20クレジットカード詐欺発見のダッシュボード出典:TIQ Solution社
Copyright © 2020 UTI Inc. All Rights Reserved.利点③:DBでの複雑なデータ処理が可能アプリ開発が変わります「Neo4jソリューションは、従来のMySQLソリューションより数千倍⾼速で、しかも1/10から1/100のコード量で実現出来ました。更に、MySQLでは不可能だった機能を追加できました。」eBay社 シニアデベロッパーVolker Pacher⽒
Copyright © 2020 UTI Inc. All Rights Reserved.複雑なデータ処理を⽀えるグラフ・ライブラリーグラフ・ライブラリーと適用影響展開(依存関係検索)つながっている⼀連のノードを検索することは、グラフ検索の基本です。複雑なロジックを組まず、簡単な検索⽂でノード抽出が出来ます。依存関係がたとえ100万ホップでも、検索は⼀瞬です。•各種リコメンデーション「コールセンターのQ&A」、「故障検知の際の装置の効率的なチェック順のリコメンド」、「社内空きポジションに、最適な社内⼈材は誰か」、など、様々な場⾯に対してリコメンデーションを組込むことが可能です。類似度分析、協調フィルタリング、コンテンツ・ベース・フィルタリングの⼿法をDB側で実現します。ルート検索/コスト最適化・最短ルートやコストや時間を加味した最適ルート検索が出来ます。顧客セグメンテーションコミュニティー発⾒の各種アルゴリズムを網羅。インフルエンサー特定、重要ノード特定PageRankや次数中⼼度など中⼼性発⾒の各種アルゴリズムを網羅しています。犯罪予知、創薬への応⽤「このような条件の所で犯罪であれば、他のこんな場所で起こりやすい」、「この繋がりと似た形状の化合物であれば、似たような性質を持つかもしれない」など、犯罪予知や創薬分野で利⽤される、リンク予想アルゴリズムを実装しています。
Copyright © 2020 UTI Inc. All Rights Reserved. 23グラフ・エンハンストAI(グラフにより強化されたAI)AIにとって重要なコンテクストAIの⽬指す所は、⼈と同じレベルの判断です。⼈は意思決定に、コンテキストを⽤います。グラフはコンテクスト付きでAIを学習させます。(例)旅⾏⼿配コンテクスト1:ビジネス or 休暇コンテクスト2:単独 or 他の⼈と⼀緒(例) 「出て⾏け!」という⾔葉コンテクスト:友⼈からの突然のサプライズへの返しor 仕事で失敗し怒っている上司からの⾔葉グラフが提供する4つのコンテクストナリッジグラフAIの意思決定⽀援にコンテクストを加えます。•グラフ・アクセラレーティド機械学習グラフ技術を⽤いモデルを最適化し、学習処理を⾼速化します。コネクティド・フィーチャーデータ内の予測に効く重要な要素を特定します。重要な特徴を予測モデルのベースに、重要でないものを省くことで、精度が向上します。説明可能なAIAIのブラックボックス性を説明可能にします。
Copyright © 2020 UTI Inc. All Rights Reserved.ネットワークキャリアにおけるVLAN設定24[Device] [Device][Device] [Device][Device][Link][LinkOpt][LinkGroup][LinkGroup][Port][Port][Port][Port] [Port][Port][Port][Port] [Port][Port] [Port][Port][Port][Port][Port][Port][Port][Port][Port][ROUTE] [ROUTE][ROUTE][ROUTE] [ROUTE][ROUTE_OPT][ROUTE_OPT][ROUTE][ROUTE][CONNECT][CONNECT][CONNECT][CONNECT][ADAPT][ADAPT][ADAPT][ADAPT][ADAPT][ADAPT][CONNECT][CONNECT][CONNECT][CONNECT][ADAPT][ADAPT][ADAPT][ADAPT][CONNECT][CONNECT][ADAPT] [ADAPT][CONNECT][CONNECT][ADAPT] [ROUTE][ADAPT][ADAPT][ADAPT][ADAPT][ADAPT][ADAPT][CONNECT][CONNECT][CONNECT][CONNECT][ROUTE] [ROUTE]8従来Ø 手動設定冗長性も含めロジックが複雑であり、従来システムでは不可能。人の目と手でルート算出・設定を行っていた。VLANプロビジョニングNeo4jØ ルート算出の自動化Ø 設定(プロビジョニング)の自動化Ø 各種制約条件の考慮効果Ø 人的リソース削減Ø 正確性の向上ユースケースVLAN経路を追加/削除のプロビジョニングとは●L2/L3装置物理レイヤーネットワークキャリアにおいては、L2/L3装置から成る物理ネットワークは、各装置をノードとし、接続関係をエッジとするグラフ構造(=ネットワーク構造)です。●仮想レイヤー(VLAN)各種クライアント毎に、割当た物理経路を、仮想レイヤーVLANとして管理します。●経路検索VLAN経路の追加の場合、当然、物理レイヤー上での経路の存在が必要です。それに加えて、「使えるのか」、「使って良いのか」、つまり、「空いている」かを考慮する必要があります。Neo4jでは、物理レイヤーも仮想レイヤーも同じグラフ上にロードされているので、仮想レイヤーでの空き状況をチェックしながら、「空いている」物理経路を探すことが出来ます。グラフDBの効果RDBでは、プログラムサイドに負荷がかかり過ぎて実現出来なかった経路算出を、 Neo4jではDBサイドのみでシンプルなロジックで完結させることが出来ます。必要とされる演算は、極めてグラフ的であるので、RDBでシステムを組もうとした場合に⽐べて、10の1以下のコストで、1000倍以上速いシステムの構築に成功しました。
Copyright © 2020 UTI Inc. All Rights Reserved.新型コロナの情報収集25ユースケース(⽇本での適⽤事例)Covid19japanプロジェク(covid19japan.com)現在⽇本にSingle Source of Origin(ここだけを⾒れば情報が取れるという唯⼀のデータ元)が無い中で、同サイトでは、厚労省、都道府県、市町村まで含む数百のデータソースから、データを収集・公開している。(件数データの集計は多くのサイトでなされているが、濃厚接触者情報を含む詳細を網羅しているのはここだけ。)①第⼀報=NHK件数、性別、発⽣都道府県②①に基づき全ての情報を⼊れる箱を1件毎に作る。(愛知県○例⽬など)③都道府県発表③市町村発表案件ノード全情報をここに格納フィードフィードフィード別の人に同じ番号が振られることも同じ人に違う番号が振られる事も発表と都道府県が異っていることも年齢や性別など矛盾することもマスターデータ管理システム(MDM)としてのNeo4j⼀例として採番ルールを挙げる:ü 同⼀⼈物に対して、市と県の両⽅から別々の番号で別々の発表ü PCR検査誤判定で、陽性患者への番号を取消し、別患者にその番号を再利⽤させるü 同⼀⼈物が2度⽬の罹患の際、別件として2つ⽬の番号が振られるü ある⼈物が他県へ移動した場合に、両県から別番号で発表されるなど、様々なパターンへの柔軟な対応⼒が必要であった。今回は、患者ノードに結付く別ノードとして、都道府県番号や市番号を記録している。患者中⼼に別ノードで番号を管理していることは、現実の⼈物に対して番号が振られることのミラーとなっているので、複数番号の管理でも容易に出来る。患者 クラスタ 府番号 市番号 独⾃番号
Copyright © 2020 UTI Inc. All Rights Reserved.新型コロナの情報収集(続き)26ユースケースデータクレンジングの為のNeo4j都道府県及び市町村発表は、「⼈が読む⽂書」であり、「可読性」が重視されているが、本プロジェクトでは、その⽂書から必要データの抽出を⾏っている。その際、例えば、年代と性別を①まとめて⼀項⽬として表⽰、②別項⽬で表⽰、など記載表現の違いがある。本プロジェクトでは、Neo4jによりデータクレンジングを⾏なっている。Neo4jのプロパティは、型の制限は無く、取り敢えず格納出来る。この「取り敢えず格納」は記載表現がバラバラの情報には有効で、取り敢えず格納後に、⽤意してあるスクリプトで必要情報を抽出する。今までのパターンに当て嵌まらない場合は、新たなスクリプトを⽤意し、その後のデータ抽出に役⽴てる。データ利活⽤の為のNeo4j(前ページの右図参照)Neo4jの最⼤の特徴は、データを関係性の⽂脈で記録することである。①感染経路の視覚化Neo4jでは、感染経路は、前ページ右上図の患者ノード(オレンジ)の繋がりとして⾒て取れる。さらに、データを利活⽤の応⽤例として、濃厚接触者、及び濃厚接触者の濃厚接触者をリストアップする簡単なアプリを考えてみる。患者A従業員B会議X会議Y従業員C会議Z濃厚接触者@会議X濃厚接触者Bへの濃厚接触者@会議Yスケジューラー・アプリからのスケジュールの抽出出席出席出席出席出席(開発イメージ)社内⽤濃厚接触者等リストアップアプリ//濃厚接触者の検索MATCH (患者A)-[:出席]à(会議)ß[:出席] -(従業員)RETURN 従業員//濃厚接触者の濃厚接触者の検索MATCH (患者A)-[:出席]à(会議)ß[:出席] -(従業員)-[:出席]à(会議)ß[:出席] -(従業員)RETURN 従業員上図は、社内に感染者(患者A)が発⽣した場合、濃厚接触者と、濃厚接触者の濃厚接触者をリストアップするアプリの仕組みを⽰す:濃厚接触者 ⇨患者と同じ会議に出ている従業員を検索濃厚接触者の濃厚接触者 ⇨患者と同じ会議に出ていた従業員が出席した会議に出席していた従業員を検索アプリの開発は、データフィードとGUIを整えれる以外は、ほぼDBの検索のみで完結する。検索⽂は、以下の通り直感的である。
Copyright © 2020 UTI Inc. All Rights Reserved.新型コロナの情報収集(続き)27ユースケース「ヘルスケアおよびそれをサポートするあらゆる分野のデータおよび分析のリーダーは、グラフアプローチを使⽤してCOVID-19危機への対応を改善しなければなりません。グラフ技術は、製造業者、サプライヤー、流通業者、介護者の間の複雑な関係がもたらす課題に対応するのに役⽴ちます。」Gartnerレポート 2020年4⽉CovidGraph(知識グラフ)ドイツ糖尿病研究センター(DZD)を中⼼とするグループがCOVID-19に関する知識グラフ・プロジェクト。科学⽂献や知的財産から得られるテキストデータと、遺伝⼦、タンパク質、その機能や制御などの⽣物医学研究から得られる臨床試験、医薬品、企業等を結びつけることを⽬指します。研究データ、特にヘルスケア分野のデータ(⽂献他)は、本質的には相互に結びついていますが、多くの場合、サイロ化しています。データソースを接続することで、それをより包括的に⾒ることができます。
Copyright © 2020 UTI Inc. All Rights Reserved.⽂書管理への応⽤28ユースケース固有名詞メタ情報地名団体名地名団体名グループ名1 避難:5.7 遮断:5.6 豪⾬:5.6 ⽔:4.8 家:3.22 ⽔道:4.9 復旧:3.2 地域:3.2 道路:3.2 被災:3.13 電気:22.7 充電:2.1 バッテリー:2.1 準備:1.7 ⼆:1.54 発⽣:2.3 危険:2.3 ガス:2.2 場所:2.1 機器:2.05 停電:5.4 さん:3.2 可能:2.3 詳細:1.8 供給:1.86 災害:24.7 問題:1.0 ネット:0.9 ぁぁ:0.7 七:0.77 ⾃然:3.8 テレビ:1.8 地震:1.7 時間:1.6 ⽅法:1.58 対策:2.6 電話:2.4 県:1.9 住⺠:1.8 本部:1.59 情報:3.5 ⼼:2.5 ニュース:1.9 コロナ:1.9 ⼤切:1.510 必要:4.0 ⼈:2.7 防災:2.2 SNS:1.6 救援:1.6グループ別ポイント上位ワードグラフ検索を⽤いた⽂書の効率的な検索上記の⼿順により作成されたワードのグループ分類とポイントを利⽤し、検索ワードを改善することにより、欲しい⽂書を効率良く探し出します。ワードグラフ作成⇨ワードのグループ分類各⽂書から抽出されたキーワードからワードグラフを作ります。さらに、ワードの共起性(同時に⽤いられ易い単語の組合せ)に基づきワードをグループに分類します。各ワードへのポイント付与ワード間の関係性に基づく重要性に基づくポイントを付与します。情報収集の⾼度化イメージ1 Copyright 2019 FUJITSU LIMITED解約I.当初キーワード②⾔語解析 &ワードグラフ作成クレーム・・・・・・Aamazonレポートなど③キーワードを追加/除外検索⾼度化サイクルプロバイダ④情報活⽤クラスタ分類ポイント付与II.検索結果Ⅲ.クラスタ分類ポイント付与①検索実施追加系除外系⽂書の知識化NLP(⾃然⾔語解析)によりキーワードを抽出。さらに外部知識と結びつけて、社内外を通じた知識基盤とする。外部知識は⼀般的なもの(wikipediaやMS Conceptnet他)と、社内における知識も⽤います。これらによって例えば、国際地質科学連合が団体名、チバニアンが固有名詞であることを「知識」として、システム的に利⽤可能にします。
Copyright © 2020 UTI Inc. All Rights Reserved.⽣産性向上のための社内MDM:AirbnbAirbnbは世界中に3,500⼈以上の従業員を抱えており、データの量と複雑になったDBを管理するという課題に直⾯していました。同社はデータウェアハウスで20万以上のテーブルを管理していましたが、複数のクラスターに分散していました。従業員に社内⽂書の検索性に関する調査を⾏った所、⾮常に低い評価で、Airbnbのソフトウェアエンジニアのジョン・ボドリー⽒は「皆はどうやって欲しいデータのテーブルを⾒つければ良いのかさえ分かっていなかった 」と、振り返っています。Neo4jを使って、データポータルと呼ばれる社内のMDMツールを作成し、データサイロをつなぎ、社員が必要なデータを簡単に⾒つけられるようにしました。Neo4jは、会社の業務に完璧にフィットしていました。Bodley⽒⽈く、「会社はグラフである」と。⽂書管理への応⽤(続き)29ユースケース(ユースケース)顧客360度への応⽤データアップロード①社内に存在する各種データベース② NLP(⾃然⾔語解析)による各種⽂書からキーワードをNeo4jにデータをアップロードします。データのエンリッチ化さらに、データ相互の同⼀性、依存関係、従属関係、所属関係、依存関係、友⼈関係などの関係性を接続します。例えば、アップロード⽤のプログラムにおいて、① オンラインストア上のAさんの購買記録② カスタマーサービス上のAさんの故障受付③ CRM上のAさんのデータ④ 顧客同⼠の家族関係、友⼈関係などを関係性で結ぶようにしておきます。これだけで、Aさんに関係する全事象のデータを簡単に取得できるようになります。つまり、今までデータの関係性毎に膨⼤なプログラム的⼿当てが必要であった「顧客360度の実現」が、ごくごく簡単な「関係性で結ぶ」ことに置き換わります。エンリッチ化
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE• ͔ͨ͠͠ΒຊถࠃมԽ͢Δ͜ͱͷ߅ײࠔੑࣅͨΑ͏ͳͷͰʁ• اۀͰ৽͘͠ࣄۀΛ࡞Δ͜ͱ͕ॏཁʢมԽ͢Δ͜ͱΑΓ߅ײ͕গͳ͍ʣ• ৽͍͠ࣄۀ৽͍ٕ͠ज़Ͱߏங͢͠ɺͦͷཧ༝– ৽͍ٕ͠ज़ॊೈੑ͕ߴ͍– ৽͍͠։ൃख๏ॊೈੑ͕ߴ͍– มԽ͕ܹ͍͠ࣄۀڥʹ૬Ԡ͍ٕ͠ज़͕͋Δ• ݹࠓ౦ɺγεςϜͷࠜװσʔλʢσʔλϕʔεʣʹ͋ΔͨΊσʔλϕʔεͱͯ͠ԿΛ࠾༻͢Δ͔ϏδωεͱγεςϜͷڝ૪ྗͷݯઘͱͳΔ·ͱΊ
QUIBOLJU$P -UE "MM3JHIUT3FTFSWFE 5IBOLJU$P -UE"MMSJHIUT3FTFSWFE͋Γ͕ͱ͏͍͟͝·ͨ͠ʂגࣜձࣾαϯΫΠοτUFSB!UIBOLJUDPN