実務（CTR予測）と機械学習コンペの比較

Discovery DataScience Meet up (DsDS) #1 での発表資料

Transcript

1. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 2020年11⽉13⽇ ヤフー株式会社 村上 晃 実務（CTR予測）と機械学習コンペの⽐較 コンペで学んで役に⽴った/⽴たなかったこと
2. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 注意事項 2 • ຊ೔ͷ͜ͷൃද͸ɼݱ৬ݱ෦ॺͰͷ ݸਓతܦݧʹجͮ͘΋ͷͰ͢ɽ • ओޠ͕େ͖ͦ͏ͳൃݴΛͯ͠͠·ͬͨ৔߹ɼ ͦΕ͸ݴ͍ؒҧ͍ͩͱࢥ͍͚ͬͯͨͩΔͱ ޾͍Ͱ͢ɽ
3. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. TL;DR 3 • ޿ࠂͷΫϦοΫ཰༧ଌ͸ਫ਼౓͕ऩӹʹ݁ͼͭ͘ ࣮຿λεΫɽ • ,BHHMFͰΑ͘࢖ΘΕΔਫ਼౓վળํ๏ͱͯ͠ɼ ౷ܭྔ΍௚લͷϩάΛ࢖༻ͨ͠ಛ௃ྔͳͲ͕͋Δɽ • ࣮຿ͷ޿ࠂΫϦοΫ཰༧ଌͰͦ͏͍͏ಛ௃ྔΛ ࢖༻͢Δͱɼਫ਼౓͸্͕Δ΋ͷͷΦϯϥΠϯਪ࿦ ؀ڥ੔උ͕େมͰɼԠ༻͠ਏ͍ɽ
4. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ⾃⼰紹介 4  ࢯ໊  ଜ্ ߊ ʢUXJUUFS
   !NSLNBLS
   ,BHHMF
   !NSLNBLSʣ  ग़਎  ژ౎ɽ  ܦྺ  ژେ৘ใֶݚڀՊͷੜ෺دΓͷϥϘग़਎  ݱॴଐ  Ϡϑʔגࣜձࣾ αΠΤϯε౷ׅຊ෦ʢ̎̌̍̕೥৽ଔೖࣾʣ  ޿ࠂؔ܎ͷ͜ͱΛ΍͍ͬͯΔ෦ॺͰɼػցֶशίϯϙʔωϯτͷ ։ൃɾݕূ౳Λߦͳ͍ͬͯ·͢ɽ  ࣾ಺ಉ޷ձ  ࣾ಺ͷ,BHHMFಉ޷ձʹೖ͓ͬͯΓɼղ๏ڞ༗ձ΍ίϯϖΛߦͳ͍ͬͯ·͢
5. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. コンペ戦績 5  ,BHHMF  DPNQFUJUJPO
   NBTUFS  /'-
   #JH
   %BUB
   #PXM
   Ͱιϩۚ  BUNBDVQ
   Ґ
6. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda 6  :+Ͱͷ޿ࠂ഑৴ͷ࿩ʢಛʹ$53༧ଌʣ  ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘࢖ΘΕΔख๏  ,BHHMFͰͷख๏͸$53༧ଌͷ࣮຿Ͱ༗ޮ͔  ,BHHMFͰֶΜͩ໾ཱͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ
7. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. YJでの運⽤型広告配信 7 • ചΓ্͕͛େ͖͍ • ԯԁ 
   EBZʢ*3ΑΓʣ • جຊతʹDMJDL՝ۚ • ظ଴ऩӹ͕ߴ͍޿ࠂ͕දࣔ͞ΕΔ 運用型広告 1 運用型広告 2 ظ଴ऩӹ 
   ΫϦοΫ୯Ձ º $53ʢΫϦοΫ֬཰ʣ
8. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. CTR予測のデータ形式とタスク 8 • 6TFS
   º *UFN
   º 5JNF
   Λݩʹɼ $MJDL͞ΕΔ͔Ͳ͏͔Λ༧ଌ͢Δ ೋ஋෼ྨ໰୊ʢ֬཰༧ଌ໰୊ʣ • $BSEJOBMJUZʢVOJRVF਺ʣ ͸ ͔ͳΓେ͖͍ɼ • ݄ؒΞΫςΟϒϢʔβʔ਺͸ ̍ԯऑ
9. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. CTR予測精度が向上すると 9 • ਅʹظ଴ऩӹ͕ߴ͍޿ࠂΛग़͢͜ͱ͕Ͱ͖ΔΑ͏ʹͳΔɽ • ऩӹΞοϓ͕ظ଴Ͱ͖Δ • ཧ࿦্$53༧ଌ͕׬ᘳͳΒऩӹ࠷େԽ • ਺ˋͷऩӹ޲্Ͱ΋ֹۚͰݟΔͱ͔ͳΓେ͖͍ • վળͰ΋ ສԁ 
   EBZ 精度向上の追求に慣れているkagglerが 活躍しやすい実務タスクでは︖
10. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda 10  :+Ͱͷ޿ࠂ഑৴ͷ࿩ʢಛʹ$53༧ଌʣ  ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘࢖ΘΕΔख๏  ,BHHMFͰͷख๏͸$53༧ଌͷ࣮຿Ͱ༗ޮ͔  ,BHHMFͰֶΜͩ໾ཱͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ
11. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ユーザー × アイテム × 時系列 コンペ 11 • 5BMLJOH
    EBUB • Ϣʔβʔ͕ΞϓϦͷ޿ࠂΛΫϦοΫͨ͠ޙɼΞϓϦΛ ࣮ࡍʹμ΢ϯϩʔυ͢Δ͔Ͳ͏͔Λ༧ଌ͢Δίϯϖ • %4# • ΞϓϦͷϓϨΠཤྺΛݩʹɼͲΕ͙Β͍ͷείΞΛ औΔ͜ͱ͕Ͱ͖Δ͔Λ༧ଌ͢Δίϯϖ
12. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量 12 • ΧςΰϦʔ͝ͱͷ౷ܭྔ • લ೔ʹϩάʹݱΕͨճ਺ʢDPVOU
    FODPEJOHʣ • λʔήοτͷ࣮੷஋ʢUBSHFU
    FODPEJOHʣ • ৭ΜͳBEΛΫϦοΫ͢ΔVTFS͔ʢVOJRVFDPVOUʣ • ಛఆͷ޿ࠂΛԿ౓ݟ͍ͯΔ͔ʢ৚݅Λ͚ͭͨDPVOU
    FODPEJOHʣ ू໿ • ෼ࢄදݱ • ڞىߦྻͷજࡏม਺ • ࣌ܥྻΛจষͱ ݟཱͯͨXPSEWFD
13. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログを利⽤した特徴量 13 • Ұఆظؒ಺ͷ౷ܭྔʢ௚લͷϩάΛؚΉू໿ಛ௃ྔʣ • ௚લ̍̌෼ͷؒͷΞΫηεճ਺ • ௚લ̑෼ؒͰݟͨ޿ࠂͷछྨ਺ • TIJGUಛ௃ྔ • ௚ۙͷΞΫηε͔Βܦաͨ࣌ؒ͠ • ௚ۙʹΫϦοΫͨ͠޿ࠂͱಉ͡޿ࠂ͔Ͳ͏͔
14. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ⼿法まとめ 14 • ू໿ಛ௃ྔ • ౷ܭྔ • ෼ࢄදݱ • ௚ۙͷϩάΛར༻ͨ͠ಛ௃ྔ • ௚ۙͷϩάͱͷࠩ෼ • ௚ۙͷϩάͦͷ΋ͷ • ಛ௃ྔΛࣗ෼Ͱ͸࡞੒ͤͣʹ3//౳ʹ೚ͤΔέʔε΋
15. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda 15  :+Ͱͷ޿ࠂ഑৴ͷ࿩ʢಛʹ$53༧ଌʣ  ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘࢖ΘΕΔख๏  ,BHHMFͰͷख๏͸$53༧ଌͷ࣮຿Ͱ༗ޮ͔  ,BHHMFͰֶΜͩ໾ཱͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ
16. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleの解法はCTR予測の実務で使えるか 16 • ͜͜·ͰͰݟ͖ͯͨಛ௃ྔΛ ޿ࠂ഑৴࣌ͷ$53༧ଌʹ࢖͑Δ͔ߟ͑ͯΈΔ • ޿ࠂ഑৴Ͱ࣮ࡍʹࠓ࢖༻͍ͯ͠Δͷ͔ • ਫ਼౓ɾऩӹ͕ຊ౰ʹվળ͢Δͷ͔ • ࣮ࡍʹ޿ࠂ഑৴Ͱ࢖༻͢Δ৔߹ͷίετͳͲ
17. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量（1/2） 17 • ഑৴࣌ͷ$53༧ଌͰͷ࢖༻ঢ়گ • গྔ͕ͩ࢖༻͍ͯ͠Δ • FYʣ࣮੷$53
    
    UBSHFU
    FODPEJOH • ਫ਼౓ɾऩӹ΁ͷӨڹ • ࣮੷$53ͳ͠Ͱ͸ੜ͖͍͚ͯͳ͍͙Β͍ʹ͸ޮ͍͍ͯΔ • ଞͷ࣮੷஋ʢ޿ࠂͷఏࣔස౓ͳͲʣ΋ͦͦ͜͜ޮ͍͍ͯΔ 精度・収益向上の役には⽴つ
18. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量を使った場合の広告配信の流れ 18 Ϣʔβʔ ޿ࠂબ୒༻αʔόʔ %# 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ಛ௃ྔఏڙ༻αʔόʔ
19. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量を使った場合の広告配信の流れ 19 Ϣʔβʔ ޿ࠂબ୒༻αʔόʔ %# ಛ௃ྔఏڙ༻αʔόʔ 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ूܭ༻αʔόʔ b. 集計結果読み込み a. 集計
20. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 増強・改修が必要な箇所 20 Ϣʔβʔ ޿ࠂબ୒༻αʔόʔ %# ಛ௃ྔఏڙ༻αʔόʔ 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ूܭ༻αʔόʔ b. 集計結果読み込み a. 集計
21. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 増強・改修が必要な箇所 21 Ϣʔβʔ ޿ࠂબ୒༻αʔόʔ %# ಛ௃ྔఏڙ༻αʔόʔ 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ूܭ༻αʔόʔ b. 集計結果読み込み a. 集計
22. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量（2/2） 22 • ৽͍͠ू໿ಛ௃ྔΛ഑৴Ͱ࢖༻͢Δͷʹඞཁͳཁૉ • ूܭΫΤϦͷ࡞੒ͱอकɾӡ༻ • ֤छαʔόʔͷ૿ڧ • ಛʹಛ௃ྔఏڙ༻αʔόʔ • ΦϑϥΠϯͰ༗༻ੑ͕ࣔ͞Ε͔ͯΒ࣮ࡍͷ޿ࠂ഑৴Ͱࢼ͢·Ͱʹ͔͔Δظؒ • খن໛ͳϥΠϒςετ·Ͱ ϲ݄ • શ഑৴Ͱ࢖༻Ͱ͖ΔΑ͏ʹͳΔ·Ͱ൒೥΄Ͳ͸͔͔Δ໛༷ 精度は上がるが，オンライン推論環境構築がかなり⼤変で， 実際の広告配信で試すには時間がかかる
23. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログ利⽤した特徴量(1/2) 23 • ഑৴࣌ͷ$53༧ଌͰͷ࢖༻ঢ়گ • ͔ᷮʹ͸࢖༻͍ͯ͠Δ͕ಋೖͷ೉қ౓͸ߴ͘ɼίετ΋͔͔Δɽ • ݟ߹͏ऩӹੑ޲্͕ඞཁ • ਫ਼౓ɾऩӹ΁ͷӨڹ • ͳͯ͘͸ͳΒͳ͍ͱ͍͏΄ͲͰ͸ͳ͍͕ͦͦ͜͜ޮ͍͍ͯΔ • ʢಋೖϋʔυϧߴ͍ͷ΋͋ͬͯ͋·Γ୳ࡧ͞Εͯͳ͍ҹ৅ʣ
24. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログが必要な特徴量(2/2) 24 • ৽͍͠ಛ௃ྔΛ௥Ճ͍ͯͨ͘͠Ίʹඞཁͳཁૉ ʢू໿ಛ௃ྔͰඞཁͳ΋ͷҎ֎ʣ • ϦΞϧλΠϜूܭ༻ͷαʔόʔͷ૿ڧ • ωοτϫʔΫͷ૿ڧ • ΦϑϥΠϯͰ༗༻ੑ͕ࣔ͞Ε͔ͯΒ࣮ࡍͷ޿ࠂ഑৴Ͱࢼ͢·Ͱʹ ͔͔Δظؒ • খن໛ͳϥΠϒςετ·Ͱ ϲ݄ • શ഑৴Ͱ࢖༻Ͱ͖ΔΑ͏ʹͳΔ·Ͱ̍೥΄Ͳ͸͔͔Δ໛༷ • খن໛ͳϥΠϒςετͰऩӹ্͕͕̍ΔͱΘ͔͍ͬͯΔ͕ Ϧιʔεͷ໰୊ͰϝΠϯԽ͞Εͯͳ͍ಛ௃ྔ΋͋Δ
25. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログ + NN 25 • $53༧ଌͰ࢖͍ͬͯΔ͔ʁ • ࢖͍͑ͯͳ͍ • ਫ਼౓͸্͕Δͷ͔ • ΦϑϥΠϯධՁ͕վળ͢Δ͜ͱͷ֬ೝ͸Ͱ͖͍ͯΔ͕ɼ ϥΠϒςετ͸Ͱ͖͍ͯͳ͍ • $53༧ଌؔ܎ͷ࿦จͰɼਫ਼౓͕վળͯ͠ऩӹ্͕͕Δ͜ ͱ͸ใࠂ͞Ε͍ͯΔ • "MJCBCB͸࣮ࡍͷ޿ࠂ഑৴Ͱ3//
    
    BUUFOUJPOϞσ ϧΛ࢖༻͓ͯ͠Γɼ.-1ͱൺ΂ͯऩӹ  ʢ (VPSVJ ;IPV
    FU
    BM
    ʣ • ഑৴Ͱ࢖༻͢Δʹ͸Կ͕ඞཁ͔ • ௚ۙͷಛ௃ྔ͕࢖͑ΔΑ͏ʹ͢Δ • ਪ࿦αʔόʔͷ૿ڧ
26. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ⼿法とハードル 26 手法 考えられる特徴量の例 配信で試すまでにかかる 期間 ハードル 集約特徴量 • クリックしやすいユーザー か？ • 幅広い年齢層がクリックす る広告か？ • あるユーザーが絶対クリック しない広告のカテゴリは？ • 2ヶ月ぐらい • 全trafficで使うなら半年 • 事前に集計して 貯める必要あり • 推論時に素早く引 ける必要あり 直前のログを 使用した特徴量 • 直前に提示された広告は？ • 直前にクリックした広告のカ テゴリは？ • ３ヶ月ぐらい • 全trafficで使うなら１年 • ↑と同様 • 直前の行動を即 特徴量に反映で きるようにする必 要あり
27. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 何だったら気軽に試せるか 27 • طʹϩάʹམ͍ͪͯΔ͕$53༧ଌϞσϧʹ ࢖͍ͬͯͳ͍Α͏ͳಛ௃ྔʢେ఍୳ࡧࡁΈʣ • Ϟσϧͷ܇࿅࣌ʹ͔ؔ͠Θͬͯ͜ͳ͍Α͏ͳ΋ͷ • TBNQMF
    XFJHIU • ֤छϋΠύϥ • ଛࣦؔ਺ • ࢖༻͢Δσʔλ
28. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleコンペとの⽐較 28 • ϩʔΧϧͰܭࢉͰ͖ͳ͍ࢦඪʢऩӹʣ͕ QVCMJD
    QSJWBUFͷNFUSJDʹͳ͍ͬͯΔ • ूܭ͕ඞཁͳಛ௃ྔΛ௥Ճͨ͠ϞσϧΛ࢖ͬͯ TVCNJUʢϥΠϒςετʣ͢Δʹ͸࠷௿̎ϲ݄͸͔͔Δ • 1VCMJD
    -#ʢখن໛ϥΠϒςετʣͰείΞ্͕͕ͬͯ΋ QSJWBUF
    -#ʢશ഑৴΁ͷ൓өʣʹ͸Ϧιʔεͷ౎߹্ɼ ೥୯Ґͷظؒ൓өͰ͖ͳ͍͜ͱ΋ଟ͍ • ͦ΋ͦ΋-#ʹڝ૪૬ख͸͍ͳ͍ • 1SJWBUFͷείΞʢऩӹʣ্͕͕Δͱͪΐͬͱڅྉ্͕͕Δ
29. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ここまでのまとめ 29 • ,BHHMFͰ࢖ΘΕ͍ͯΔਫ਼౓վળख๏͸࣮຿ͷ$53༧ଌͰ΋໾ཱ͔ͭʁ • ਫ਼౓վળɾऩӹվળʹ͸ܨ͕Δ • ͨͩ͠ɼखܰʹΦϯϥΠϯਪ࿦·Ͱ͍͚࣋ͬͯΔख๏͸গͳ͍ • ΦϯϥΠϯਪ࿦؀ڥ੔උ͕ඇৗʹେม • ,BHHMFͰ͸ܭࢉ࣌ؒ΍ϝϞϦͷ੍ݶ͕؇͍͔Βͦ͜खܰʹ 1%$"ΛճͤΔ
30. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda 30  :+Ͱͷ޿ࠂ഑৴ͷ࿩ʢಛʹ$53༧ଌʣ  ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘࢖ΘΕΔख๏  ,BHHMFͰͷख๏͸$53༧ଌͷ࣮຿Ͱ༗ޮ͔  ,BHHMFͰֶΜͩ໾ཱͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ
31. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleで学んで成果に繋がったことは︖ 31 • ݱ࣌఺Ͱ͸ਖ਼௚ࢥ͍͔ͭͳ͍ ʢ˞ݱ৬ݱ෦ॺݱ࣌఺ͰͷݸਓతܦݧͰ͢ʣ • ΦϑϥΠϯධՁ͸ૉૣ͘ߦ͑ͯ΋ɼ ഑৴ʹ࢖͍ͮΒ͘ऩӹվળʹ݁ͼ͍͍ͭͯͳ͍ • ௚઀తͳ੒Ռʹ͸ܨ͕Βͳ͍͕໾ʹཱ͍ͬͯΔͷ͸ 1BOEBT
    NBUQMPUMJC
    ͳͲͷϥΠϒϥϦͷ࢖͍ํ • ϥΠϒςετ݁Ռ΍୳ࡧతσʔλղੳʢ&%"ʣ͕ ૉૣ͘Ͱ͖Δͷ͸HPPE
32. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleで学んで役に⽴ったことは︖ 32 • ͦͷଞɼ,BHHMFͰֶΜͰۀ຿Ͱ໾ʹཱͬͨ͜ͱͷ͋Δ͜ͱ • ,FSBT΍MJHIUHCNͰαΫοͱਫ਼౓ධՁ͕Ͱ͖Δ • GBTUUFYU΍XPSEWFDΛαΫοͱࢼͤΔ • εέʔϧ͕ؔ܎͢ΔϞσϧͷ৔߹ɼ4LFXͳ෼෍ͷಛ௃ྔʹ͸MPHQ౳Λ ద༻ͨ͠ํ͕ྑ͍͜ͱΛ஌͍ͬͯΔ • 1FSNVUBUJPO
    JNQPSUBODF
    OVMM
    JNQPSUBODFΛ஌͍ͬͯΔ • ಛ௃ྔؒͷ࢛ଇԋࢉΛͨ͠ಛ௃ྔͷ௥ՃͰ΋USFFͷਫ਼౓͸มΘΓ͏Δ͜ͱΛ ஌͍ͬͯΔ • %SPQPVUͷޙʹ#BUDI/PSNΛͯ͠͸͍͚ͳ͍͜ͱΛ஌͍ͬͯΔ
33. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleでコーディングを学んだ悪影響 33 • มʹಛ௃ྔʹ߆ͬͨ݁Ռɼอकੑ͕௿͘ͳͬͯ ϦϑΝΫλϦϯά͢Δඞཁ͕ग़Δ • ઢܗϞσϧͷ஫ҙ఺Λ๨ΕͯυπϘʹϋϚͬͨΓ͢Δ • (#%5Ͱϙϯʹ׳Εͨฐ֐ • ΫιͰ͔OPUFCPPLʹ׳Ε͍͗ͯͯ͢࢓ࣄͰ΋Մಡੑͷͳ͍ίʔυΛ ੜΈग़ͯ͠͠·͏ • -#্Ͱͷڝ૪͕ͳ͘վળͷ1%$"͕஗͍.-Ϟσϧ࡞੒ʹָ͠ΈΛ ݟग़ͮ͠Β͍ ※ ࣗ෼ͷLBHHMFͷऔΓ૊Έํͷ৔߹ͷ࿩Ͱ͢
34. Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 雑感 34 • ੍ݶ͕͋Δ৔߹ͷख๏͸͋·Γ୳ࡧ͞Εͳ͍ͷ͸,BHHMFͷ࢒೦ͳ ͱ͜ΖͰ͸͋Δ͕ɼ੍ݶΛແࢹͯ͠෯޿͍ख๏ΛࢼͤΔͷ͸ ,BHHMFͷϝϦοτ • ,BHHMF΍͍ͬͯͯۀ຿Ͱ໾ʹཱͬͨͷ͸ϥΠϒϥϦͷ࢖͍ํʹ ׳Ε͍ͯΔ͜ͱ͕ओɽ • ಛఆͷίϯϖͰۚϝμϧऔΔͱ͜·ͰؤுΔΑΓ΋ ৭ΜͳίϯϖͰιϩಔͱΔͱ͜Ζ·Ͱ΍ͬͨํ͕ ۀ຿ͷ໾ʹ͸ཱͪͦ͏ • ʢ˞ݱ৬ݱ෦ॺݱ࣌఺ͰͷݸਓతݟղͰ͢ʣ