Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
実務(CTR予測)と機械学習コンペの比較
Search
mrkmakr
November 13, 2020
Technology
4
3.2k
実務(CTR予測)と機械学習コンペの比較
Discovery DataScience Meet up (DsDS) #1 での発表資料
mrkmakr
November 13, 2020
Tweet
Share
Other Decks in Technology
See All in Technology
一度 Expo の採用を断念したけど、 再度 Expo の導入を検討している話
ichiki1023
1
230
エンジニアが加速させるプロダクトディスカバリー 〜最速で価値ある機能を見つける方法〜 / product discovery accelerated by engineers
rince
4
490
コンテナサプライチェーンセキュリティ
kyohmizu
1
110
オブザーバビリティの観点でみるAWS / AWS from observability perspective
ymotongpoo
9
1.6k
Reading Code Is Harder Than Writing It
trishagee
2
110
【Developers Summit 2025】プロダクトエンジニアから学ぶ、 ユーザーにより高い価値を届ける技術
niwatakeru
2
1.6k
(機械学習システムでも) SLO から始める信頼性構築 - ゆる SRE#9 2025/02/21
daigo0927
0
200
PHPカンファレンス名古屋-テックリードの経験から学んだ設計の教訓
hayatokudou
2
500
短縮URLをお手軽に導入しよう
nakasho
0
110
分解して理解する Aspire
nenonaninu
2
490
Exadata Database Service on Cloud@Customer セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
1
1.5k
Amazon S3 Tablesと外部分析基盤連携について / Amazon S3 Tables and External Data Analytics Platform
nttcom
0
150
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Building Adaptive Systems
keathley
40
2.4k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.8k
4 Signs Your Business is Dying
shpigford
182
22k
Designing for Performance
lara
604
68k
Speed Design
sergeychernyshev
27
800
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
RailsConf 2023
tenderlove
29
1k
The Pragmatic Product Professional
lauravandoore
32
6.4k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7k
Building Your Own Lightsaber
phodgson
104
6.2k
Transcript
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 2020年11⽉13⽇
ヤフー株式会社 村上 晃 実務(CTR予測)と機械学習コンペの⽐較 コンペで学んで役に⽴った/⽴たなかったこと
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 注意事項
2 • ຊͷ͜ͷൃදɼݱ৬ݱ෦ॺͰͷ ݸਓతܦݧʹجͮ͘ͷͰ͢ɽ • ओޠ͕େ͖ͦ͏ͳൃݴΛͯ͠͠·ͬͨ߹ɼ ͦΕݴ͍ؒҧ͍ͩͱࢥ͍͚ͬͯͨͩΔͱ ͍Ͱ͢ɽ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. TL;DR
3 • ࠂͷΫϦοΫ༧ଌਫ਼͕ऩӹʹ݁ͼͭ͘ ࣮λεΫɽ • ,BHHMFͰΑ͘ΘΕΔਫ਼վળํ๏ͱͯ͠ɼ ౷ܭྔલͷϩάΛ༻ͨ͠ಛྔͳͲ͕͋Δɽ • ࣮ͷࠂΫϦοΫ༧ଌͰͦ͏͍͏ಛྔΛ ༻͢Δͱɼਫ਼্͕ΔͷͷΦϯϥΠϯਪ ڥඋ͕େมͰɼԠ༻͠ਏ͍ɽ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ⾃⼰紹介
4 ࢯ໊ ଜ্ ߊ ʢUXJUUFS!NSLNBLS ,BHHMF!NSLNBLSʣ ग़ ژɽ ܦྺ ژେใֶݚڀՊͷੜدΓͷϥϘग़ ݱॴଐ Ϡϑʔגࣜձࣾ αΠΤϯε౷ׅຊ෦ʢ̎̌̍̕৽ଔೖࣾʣ ࠂؔͷ͜ͱΛ͍ͬͯΔ෦ॺͰɼػցֶशίϯϙʔωϯτͷ ։ൃɾݕূΛߦͳ͍ͬͯ·͢ɽ ࣾಉձ ࣾͷ,BHHMFಉձʹೖ͓ͬͯΓɼղ๏ڞ༗ձίϯϖΛߦͳ͍ͬͯ·͢
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. コンペ戦績
5 ,BHHMF DPNQFUJUJPONBTUFS /'-#JH%BUB#PXMͰιϩۚ BUNBDVQҐ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda
6 :+Ͱͷࠂ৴ͷʢಛʹ$53༧ଌʣ ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘ΘΕΔख๏ ,BHHMFͰͷख๏$53༧ଌͷ࣮Ͱ༗ޮ͔ ,BHHMFͰֶΜཱͩͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. YJでの運⽤型広告配信
7 • ചΓ্͕͛େ͖͍ • ԯԁ EBZʢ*3ΑΓʣ • جຊతʹDMJDL՝ۚ • ظऩӹ͕ߴ͍ࠂ͕දࣔ͞ΕΔ 運用型広告 1 運用型広告 2 ظऩӹ ΫϦοΫ୯Ձ º $53ʢΫϦοΫ֬ʣ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. CTR予測のデータ形式とタスク
8 • 6TFSº *UFNº 5JNFΛݩʹɼ $MJDL͞ΕΔ͔Ͳ͏͔Λ༧ଌ͢Δ ೋྨʢ֬༧ଌʣ • $BSEJOBMJUZʢVOJRVFʣ ͔ͳΓେ͖͍ɼ • ݄ؒΞΫςΟϒϢʔβʔ ̍ԯऑ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. CTR予測精度が向上すると
9 • ਅʹظऩӹ͕ߴ͍ࠂΛग़͢͜ͱ͕Ͱ͖ΔΑ͏ʹͳΔɽ • ऩӹΞοϓ͕ظͰ͖Δ • ཧ্$53༧ଌ͕ᘳͳΒऩӹ࠷େԽ • ˋͷऩӹ্ͰֹۚͰݟΔͱ͔ͳΓେ͖͍ • վળͰ ສԁ EBZ 精度向上の追求に慣れているkagglerが 活躍しやすい実務タスクでは︖
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda
10 :+Ͱͷࠂ৴ͷʢಛʹ$53༧ଌʣ ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘ΘΕΔख๏ ,BHHMFͰͷख๏$53༧ଌͷ࣮Ͱ༗ޮ͔ ,BHHMFͰֶΜཱͩͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ユーザー
× アイテム × 時系列 コンペ 11 • 5BMLJOHEBUB • Ϣʔβʔ͕ΞϓϦͷࠂΛΫϦοΫͨ͠ޙɼΞϓϦΛ ࣮ࡍʹμϯϩʔυ͢Δ͔Ͳ͏͔Λ༧ଌ͢Δίϯϖ • %4# • ΞϓϦͷϓϨΠཤྺΛݩʹɼͲΕ͙Β͍ͷείΞΛ औΔ͜ͱ͕Ͱ͖Δ͔Λ༧ଌ͢Δίϯϖ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量
12 • ΧςΰϦʔ͝ͱͷ౷ܭྔ • લʹϩάʹݱΕͨճʢDPVOUFODPEJOHʣ • λʔήοτͷ࣮ʢUBSHFUFODPEJOHʣ • ৭ΜͳBEΛΫϦοΫ͢ΔVTFS͔ʢVOJRVFDPVOUʣ • ಛఆͷࠂΛԿݟ͍ͯΔ͔ʢ݅Λ͚ͭͨDPVOU FODPEJOHʣ ू • ࢄදݱ • ڞىߦྻͷજࡏม • ࣌ܥྻΛจষͱ ݟཱͯͨXPSEWFD
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログを利⽤した特徴量
13 • Ұఆظؒͷ౷ܭྔʢલͷϩάΛؚΉूಛྔʣ • લ̍̌ͷؒͷΞΫηεճ • લ̑ؒͰݟͨࠂͷछྨ • TIJGUಛྔ • ۙͷΞΫηε͔Βܦաͨ࣌ؒ͠ • ۙʹΫϦοΫͨ͠ࠂͱಉ͡ࠂ͔Ͳ͏͔
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ⼿法まとめ
14 • ूಛྔ • ౷ܭྔ • ࢄදݱ • ۙͷϩάΛར༻ͨ͠ಛྔ • ۙͷϩάͱͷࠩ • ۙͷϩάͦͷͷ • ಛྔΛࣗͰ࡞ͤͣʹ3//ʹͤΔέʔε
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda
15 :+Ͱͷࠂ৴ͷʢಛʹ$53༧ଌʣ ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘ΘΕΔख๏ ,BHHMFͰͷख๏$53༧ଌͷ࣮Ͱ༗ޮ͔ ,BHHMFͰֶΜཱͩͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleの解法はCTR予測の実務で使えるか
16 • ͜͜·ͰͰݟ͖ͯͨಛྔΛ ࠂ৴࣌ͷ$53༧ଌʹ͑Δ͔ߟ͑ͯΈΔ • ࠂ৴Ͱ࣮ࡍʹࠓ༻͍ͯ͠Δͷ͔ • ਫ਼ɾऩӹ͕ຊʹվળ͢Δͷ͔ • ࣮ࡍʹࠂ৴Ͱ༻͢Δ߹ͷίετͳͲ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量(1/2)
17 • ৴࣌ͷ$53༧ଌͰͷ༻ঢ়گ • গྔ͕ͩ༻͍ͯ͠Δ • FYʣ࣮$53UBSHFUFODPEJOH • ਫ਼ɾऩӹͷӨڹ • ࣮$53ͳ͠Ͱੜ͖͍͚ͯͳ͍͙Β͍ʹޮ͍͍ͯΔ • ଞͷ࣮ʢࠂͷఏࣔසͳͲʣͦͦ͜͜ޮ͍͍ͯΔ 精度・収益向上の役には⽴つ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量を使った場合の広告配信の流れ
18 Ϣʔβʔ ࠂબ༻αʔόʔ %# 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ಛྔఏڙ༻αʔόʔ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量を使った場合の広告配信の流れ
19 Ϣʔβʔ ࠂબ༻αʔόʔ %# ಛྔఏڙ༻αʔόʔ 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ूܭ༻αʔόʔ b. 集計結果読み込み a. 集計
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 増強・改修が必要な箇所
20 Ϣʔβʔ ࠂબ༻αʔόʔ %# ಛྔఏڙ༻αʔόʔ 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ूܭ༻αʔόʔ b. 集計結果読み込み a. 集計
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 増強・改修が必要な箇所
21 Ϣʔβʔ ࠂબ༻αʔόʔ %# ಛྔఏڙ༻αʔόʔ 6. ロギング 4. 広告 1. アクセス情報 3. 特徴量 2. ID 5. ロギング ूܭ༻αʔόʔ b. 集計結果読み込み a. 集計
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 集約特徴量(2/2)
22 • ৽͍͠ूಛྔΛ৴Ͱ༻͢Δͷʹඞཁͳཁૉ • ूܭΫΤϦͷ࡞ͱอकɾӡ༻ • ֤छαʔόʔͷ૿ڧ • ಛʹಛྔఏڙ༻αʔόʔ • ΦϑϥΠϯͰ༗༻ੑ͕ࣔ͞Ε͔ͯΒ࣮ࡍͷࠂ৴Ͱࢼ͢·Ͱʹ͔͔Δظؒ • খنͳϥΠϒςετ·Ͱ ϲ݄ • શ৴Ͱ༻Ͱ͖ΔΑ͏ʹͳΔ·Ͱ΄Ͳ͔͔Δ༷ 精度は上がるが,オンライン推論環境構築がかなり⼤変で, 実際の広告配信で試すには時間がかかる
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログ利⽤した特徴量(1/2)
23 • ৴࣌ͷ$53༧ଌͰͷ༻ঢ়گ • ͔ᷮʹ༻͍ͯ͠Δ͕ಋೖͷқߴ͘ɼίετ͔͔Δɽ • ݟ߹͏ऩӹੑ্͕ඞཁ • ਫ਼ɾऩӹͷӨڹ • ͳͯ͘ͳΒͳ͍ͱ͍͏΄ͲͰͳ͍͕ͦͦ͜͜ޮ͍͍ͯΔ • ʢಋೖϋʔυϧߴ͍ͷ͋ͬͯ͋·Γ୳ࡧ͞Εͯͳ͍ҹʣ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログが必要な特徴量(2/2)
24 • ৽͍͠ಛྔΛՃ͍ͯͨ͘͠Ίʹඞཁͳཁૉ ʢूಛྔͰඞཁͳͷҎ֎ʣ • ϦΞϧλΠϜूܭ༻ͷαʔόʔͷ૿ڧ • ωοτϫʔΫͷ૿ڧ • ΦϑϥΠϯͰ༗༻ੑ͕ࣔ͞Ε͔ͯΒ࣮ࡍͷࠂ৴Ͱࢼ͢·Ͱʹ ͔͔Δظؒ • খنͳϥΠϒςετ·Ͱ ϲ݄ • શ৴Ͱ༻Ͱ͖ΔΑ͏ʹͳΔ·Ͱ̍΄Ͳ͔͔Δ༷ • খنͳϥΠϒςετͰऩӹ্͕͕̍ΔͱΘ͔͍ͬͯΔ͕ ϦιʔεͷͰϝΠϯԽ͞Εͯͳ͍ಛྔ͋Δ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 直近のログ
+ NN 25 • $53༧ଌͰ͍ͬͯΔ͔ʁ • ͍͑ͯͳ͍ • ਫ਼্͕Δͷ͔ • ΦϑϥΠϯධՁ͕վળ͢Δ͜ͱͷ֬ೝͰ͖͍ͯΔ͕ɼ ϥΠϒςετͰ͖͍ͯͳ͍ • $53༧ଌؔͷจͰɼਫ਼͕վળͯ͠ऩӹ্͕͕Δ͜ ͱใࠂ͞Ε͍ͯΔ • "MJCBCB࣮ࡍͷࠂ৴Ͱ3// BUUFOUJPOϞσ ϧΛ༻͓ͯ͠Γɼ.-1ͱൺͯऩӹ ʢ (VPSVJ ;IPVFUBMʣ • ৴Ͱ༻͢ΔʹԿ͕ඞཁ͔ • ۙͷಛྔ͕͑ΔΑ͏ʹ͢Δ • ਪαʔόʔͷ૿ڧ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ⼿法とハードル
26 手法 考えられる特徴量の例 配信で試すまでにかかる 期間 ハードル 集約特徴量 • クリックしやすいユーザー か? • 幅広い年齢層がクリックす る広告か? • あるユーザーが絶対クリック しない広告のカテゴリは? • 2ヶ月ぐらい • 全trafficで使うなら半年 • 事前に集計して 貯める必要あり • 推論時に素早く引 ける必要あり 直前のログを 使用した特徴量 • 直前に提示された広告は? • 直前にクリックした広告のカ テゴリは? • 3ヶ月ぐらい • 全trafficで使うなら1年 • ↑と同様 • 直前の行動を即 特徴量に反映で きるようにする必 要あり
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 何だったら気軽に試せるか
27 • طʹϩάʹམ͍ͪͯΔ͕$53༧ଌϞσϧʹ ͍ͬͯͳ͍Α͏ͳಛྔʢେ୳ࡧࡁΈʣ • Ϟσϧͷ܇࿅࣌ʹ͔ؔ͠Θͬͯ͜ͳ͍Α͏ͳͷ • TBNQMFXFJHIU • ֤छϋΠύϥ • ଛࣦؔ • ༻͢Δσʔλ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleコンペとの⽐較
28 • ϩʔΧϧͰܭࢉͰ͖ͳ͍ࢦඪʢऩӹʣ͕ QVCMJD QSJWBUFͷNFUSJDʹͳ͍ͬͯΔ • ूܭ͕ඞཁͳಛྔΛՃͨ͠ϞσϧΛͬͯ TVCNJUʢϥΠϒςετʣ͢Δʹ࠷̎ϲ݄͔͔Δ • 1VCMJD-#ʢখنϥΠϒςετʣͰείΞ্͕͕ͬͯ QSJWBUF-#ʢશ৴ͷөʣʹϦιʔεͷ߹্ɼ ୯ҐͷظؒөͰ͖ͳ͍͜ͱଟ͍ • ͦͦ-#ʹڝ૪૬ख͍ͳ͍ • 1SJWBUFͷείΞʢऩӹʣ্͕͕Δͱͪΐͬͱڅྉ্͕͕Δ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. ここまでのまとめ
29 • ,BHHMFͰΘΕ͍ͯΔਫ਼վળख๏࣮ͷ$53༧ଌͰཱ͔ͭʁ • ਫ਼վળɾऩӹվળʹܨ͕Δ • ͨͩ͠ɼखܰʹΦϯϥΠϯਪ·Ͱ͍͚࣋ͬͯΔख๏গͳ͍ • ΦϯϥΠϯਪڥඋ͕ඇৗʹେม • ,BHHMFͰܭࢉ࣌ؒϝϞϦͷ੍ݶ͕؇͍͔Βͦ͜खܰʹ 1%$"ΛճͤΔ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. agenda
30 :+Ͱͷࠂ৴ͷʢಛʹ$53༧ଌʣ ࣅͨσʔλʹରͯ͠,BHHMFͰΑ͘ΘΕΔख๏ ,BHHMFͰͷख๏$53༧ଌͷ࣮Ͱ༗ޮ͔ ,BHHMFͰֶΜཱͩͬͨ͜ͱཱͨͳ͔ͬͨ͜ͱ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleで学んで成果に繋がったことは︖
31 • ݱ࣌Ͱਖ਼ࢥ͍͔ͭͳ͍ ʢ˞ݱ৬ݱ෦ॺݱ࣌ͰͷݸਓతܦݧͰ͢ʣ • ΦϑϥΠϯධՁૉૣ͘ߦ͑ͯɼ ৴ʹ͍ͮΒ͘ऩӹվળʹ݁ͼ͍͍ͭͯͳ͍ • తͳՌʹܨ͕Βͳ͍͕ʹཱ͍ͬͯΔͷ 1BOEBT NBUQMPUMJCͳͲͷϥΠϒϥϦͷ͍ํ • ϥΠϒςετ݁Ռ୳ࡧతσʔλղੳʢ&%"ʣ͕ ૉૣ͘Ͱ͖ΔͷHPPE
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleで学んで役に⽴ったことは︖
32 • ͦͷଞɼ,BHHMFͰֶΜͰۀͰʹཱͬͨ͜ͱͷ͋Δ͜ͱ • ,FSBTMJHIUHCNͰαΫοͱਫ਼ධՁ͕Ͱ͖Δ • GBTUUFYUXPSEWFDΛαΫοͱࢼͤΔ • εέʔϧ͕ؔ͢ΔϞσϧͷ߹ɼ4LFXͳͷಛྔʹMPHQΛ ద༻ͨ͠ํ͕ྑ͍͜ͱΛ͍ͬͯΔ • 1FSNVUBUJPOJNQPSUBODF OVMMJNQPSUBODFΛ͍ͬͯΔ • ಛྔؒͷ࢛ଇԋࢉΛͨ͠ಛྔͷՃͰUSFFͷਫ਼มΘΓ͏Δ͜ͱΛ ͍ͬͯΔ • %SPQPVUͷޙʹ#BUDI/PSNΛ͍͚ͯ͠ͳ͍͜ͱΛ͍ͬͯΔ
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. Kaggleでコーディングを学んだ悪影響
33 • มʹಛྔʹ߆ͬͨ݁Ռɼอकੑ͕͘ͳͬͯ ϦϑΝΫλϦϯά͢Δඞཁ͕ग़Δ • ઢܗϞσϧͷҙΛΕͯυπϘʹϋϚͬͨΓ͢Δ • (#%5Ͱϙϯʹ׳Εͨฐ • ΫιͰ͔OPUFCPPLʹ׳Ε͍͗ͯͯ͢ࣄͰՄಡੑͷͳ͍ίʔυΛ ੜΈग़ͯ͠͠·͏ • -#্Ͱͷڝ૪͕ͳ͘վળͷ1%$"͕͍.-Ϟσϧ࡞ʹָ͠ΈΛ ݟग़ͮ͠Β͍ ※ ࣗͷLBHHMFͷऔΓΈํͷ߹ͷͰ͢
Copyright (C) 2020 Yahoo Japan Corporation. All Rights Reserved. 雑感
34 • ੍ݶ͕͋Δ߹ͷख๏͋·Γ୳ࡧ͞Εͳ͍ͷ,BHHMFͷ೦ͳ ͱ͜ΖͰ͋Δ͕ɼ੍ݶΛແࢹͯ͠෯͍ख๏ΛࢼͤΔͷ ,BHHMFͷϝϦοτ • ,BHHMF͍ͬͯͯۀͰʹཱͬͨͷϥΠϒϥϦͷ͍ํʹ ׳Ε͍ͯΔ͜ͱ͕ओɽ • ಛఆͷίϯϖͰۚϝμϧऔΔͱ͜·ͰؤுΔΑΓ ৭ΜͳίϯϖͰιϩಔͱΔͱ͜Ζ·Ͱͬͨํ͕ ۀͷʹཱͪͦ͏ • ʢ˞ݱ৬ݱ෦ॺݱ࣌ͰͷݸਓతݟղͰ͢ʣ