Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
対話型AIの構築における工夫とデータセットの重要性 - 素早くデータを構築し検証するためには
Search
yag_ays
September 30, 2022
Research
3
6.3k
対話型AIの構築における工夫とデータセットの重要性 - 素早くデータを構築し検証するためには
「自然言語MLエンジニアから学ぶ!対話型AIにおける高品質なデータセット作成ノウハウ」
https://campaign.fastlabel.ai/20220930-seminar
yag_ays
September 30, 2022
Tweet
Share
More Decks by yag_ays
See All by yag_ays
目と耳を持った自然言語処理 - スタートアップにおける価値創出のために
yag_ays
1
3.5k
時間情報表現抽出とルールベース解析器のこれから / Temporal Expression Analysis in Japanese and Future of Rule-based Approach
yag_ays
1
2.1k
Pythonで始める ドキュメント・インテリジェンス入門 / Introduction to Document Intelligence with Python
yag_ays
9
8.9k
"医者の言葉、患者の言葉、エンジニアの言葉" / MNTSQ Ubie Vertical ai
yag_ays
3
13k
LT at nlp_career
yag_ays
0
320
Review: "Recommending Investors for Crowdfunding Projects"
yag_ays
1
1.1k
Other Decks in Research
See All in Research
能動適応的実験計画
masakat0
2
830
スキマバイトサービスにおける現場起点でのデザインアプローチ
yoshioshingyouji
0
240
論文読み会 SNLP2025 Learning Dynamics of LLM Finetuning. In: ICLR 2025
s_mizuki_nlp
0
260
時系列データに対する解釈可能な 決定木クラスタリング
mickey_kubo
2
990
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
250
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
610
CoRL2025速報
rpc
1
1.2k
AlphaEarth Foundations: An embedding field model for accurate and efficient global mapping from sparse label data
satai
3
300
AIスパコン「さくらONE」のLLM学習ベンチマークによる性能評価 / SAKURAONE LLM Training Benchmarking
yuukit
2
620
Creation and environmental applications of 15-year daily inundation and vegetation maps for Siberia by integrating satellite and meteorological datasets
satai
3
360
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
25
19k
長期・短期メモリを活用したエージェントの個別最適化
isidaitc
0
140
Featured
See All Featured
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Into the Great Unknown - MozCon
thekraken
40
2.1k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Faster Mobile Websites
deanohume
310
31k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
45
2.5k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
2.6k
The World Runs on Bad Software
bkeepers
PRO
71
11k
Transcript
ରܕAIͷߏஙʹ͓͚Δͱσʔληοτͷॏཁੑ ૉૣ͘σʔλΛߏங͠ݕূ͢ΔͨΊʹ 2022/09/30 Ubieגࣜձࣾ Ԟా ༟थ
2 Ԟా ༟थ Yuki Okuda Recruit → Sansan → Ubie
@yag_ays ࣗݾհ https://yag-ays.github.io/
3 ࠓ͢͜ͱ / ͞ͳ͍͜ͱ ͢͜ͱ • ʮίΤΧϧςʯʹ͓͚Δର͔ΒͷΧϧςੜ • ͲͷΑ͏ͳλεΫͷσʔλΛΞϊςʔγϣϯʹΑΓ࡞͔ͨ͠ •
σʔλ࡞ͷ࣮ྫհ • ґཔܕͷΫϥυιʔγϯάͷσʔλ࡞ґཔ • ΞϊςʔγϣϯαʔϏεձࣾͷσʔλ࡞ґཔ • σʔλ࡞ʹ͓͚Δૉૣ͍Ձݕূͷॏཁੑ • Ξϊςʔγϣϯ࡞ۀʹ͓͚Δෆ࣮֬ੑʹ͍ͭͯ ͞ͳ͍͜ͱ • Ξϊςʔγϣϯͨ͠σʔλΛར༻ͨ͠ػցֶशͷ۩ମٕज़ɺΞΫςΟϒϥʔχϯάͳͲ
4 • ࡞ۀऀ • Ξϊςʔγϣϯ࡞ۀΛߦ͏ਓɻΞϊςʔλʔɺΫϥυϫʔΧʔͱݴ͏ • ୀ۶ͳσʔλ࡞࡞ۀΛࠜؾڧ͘ߦͬͯ͘ΕΔ༗Γ͍ଘࡏ • ґཔऀ •
Ξϊςʔγϣϯ࡞ۀΛґཔ͢Δਓ • ࠓճͰݴ͏ͱࢲͷ͜ͱɻଵଦͰظͰίϛϡχέʔγϣϯ͕ۤख • ΞϊςʔγϣϯαʔϏεձࣾ • ػցֶशͷσʔλ࡞Ξϊςʔγϣϯ࡞ۀΛ͚ෛ͏ձࣾͷ͜ͱ • ࠓճͷ߹FastLabel͞ΜͷΑ͏ͳձࣾ ొਓɾ༻ޠ
5 ʮίΤΧϧςʯʹ͓͚Δର͔ΒͷΧϧςੜ
6 ʮίΤΧϧςʯձ͔ΒࣗಈͰΧϧςΛੜ͢ΔϓϩμΫτ ʮࠓͲ͏͞Ε·͔ͨ͠ʁʯ ʮࠓே͔Β಄͕௧ͯ͘ɺు͖ؾগ͋͠ΔΜͰ͢ʯ ɾࠓே͔Β಄௧ ɾᅅؾ • ҩࢣͷͷԻ͔ΒϦΞϧλΠϜͰจࣈى͜͠ & ΧϧςੜΛߦ͏
• ҩࢣͷΧϧςهࡌෛՙͷݮ • จࣈى݁͜͠ՌʹΑΔه (ΠϯϑΥʔϜυίϯηϯτ) ͷׂ
7 • Իೝࣝɿҩࢣͱױऀͷձͷจࣈى͜͠ • ҩྍͷઐ༻ޠͷରԠɺಉԻҟٛޠͷରԠ • e.g. A1cʢ͑ʔΘΜ͠ʔ, ݂ӷݕࠪͷ໊߲ʣɺײછͱסᚔ •
ҩࢣͱױऀͷऀೝࣝɺϚΠΫͷਫ਼ɺࣨͷϊΠζɺ • ࣗવݴޠॲཧɿจࣈىͨ͜͠͠ձςΩετ͔ΒͷΧϧςهࡌจͷ࡞ • ձจͷॻ͖ى͜͠Λೖྗͱͯ͠ѻ͏ • ޱޠௐɺϑΟϥʔɺݴ͍ؒҧ͍ɺͦͦจࣈى͜͠ͷೝࣝؒҧ͍ • ձͷҙຯΛཧղ͠ɺΧϧςจΛநग़/ੜ͢ΔͨΊͷཁλεΫ • ױऀͷݴ༿͔Βҩࢣͷݴ༿ͷมɺࣗવͳΧϧςهࡌจΛ࡞͢Δඞཁ ίΤΧϧςʹ͓͚ΔػցֶशλεΫ ࠓճࣗવݴޠॲཧͷΧϧςจੜλεΫʹ͍͓ͭͯ͠·͢
8 • ύϒϦοΫʹར༻Մೳͳσʔληοτͷෆࡏ • ݸਓใ؍Ͱױऀσʔλ৻ॏʹऔΓѻΘΕɺݚڀͱ͍͑Ͳ༰қʹެ։Ͱ͖ͳ͍ • ҰํͰɺප໊ҩྍτϐοΫͷࣙॻͳͲެ։͞Ε͍ͯΔ • ҩࢣޢࢣͱ͍ͬͨҩྍैࣄऀߴ୯Ձ •
ઐٕೳΛ༗͢Δҩྍैࣄऀͷ୯Ձߴ͍ • ·ͱ·ͬͨ༧ࢉ͕ͳ͚ΕେنʹσʔληοτΛ࡞͢Δ͜ͱ͍͠ ҰൠతͳҩྍυϝΠϯʹ͓͚Δσʔληοτ࡞ͷϋʔυϧ → λεΫʹ߹ͬͨσʔληοτΛ͍͔ʹޮΑ͘࡞͢Δ͔ʁ
9 • ҰൠతʹػցֶशʹΑͬͯ༧ଌ/ੜ͢ΔతมΛɺ࡞ۀऀ͕࡞͢Δ • ࠓճͷ߹ɺ࡞ۀऀΧϧςΛॻ͚ΔҩࢣͰͳ͍ͱͰ͖ͳ͍ → ߴ୯ՁͰֻ͓͕͔ۚΔ ҩࢣͰͳ͍ී௨ͷ࡞ۀऀ͕σʔλ࡞Ͱ͖ΔΑ͏ʹλεΫΛม͢Δ ௨ৗ ʮࠓͲ͏͞Ε·͔ͨ͠ʁʯ
ʮࠓே͔Β಄͕௧ͯ͘ɺు͖ؾ গ͋͠ΔΜͰ͢ʯ ೖྗ ग़ྗ ɾࠓே͔Β಄௧ ɾᅅؾ
10 • ҰൠతʹػցֶशʹΑͬͯ༧ଌ/ੜ͢ΔతมΛɺ࡞ۀऀ͕࡞͢Δ • ࠓճͷ߹ɺ࡞ۀऀΧϧςΛॻ͚ΔҩࢣͰͳ͍ͱͰ͖ͳ͍ → ߴ୯ՁͰֻ͓͕͔ۚΔ • ͠తม͕ܾ·͍ͬͯΔͷͰ͋Εɺٯʹσʔλ෦Λ࡞͢Δͱ͍͏λεΫʹมͰ͖Δ •
ͷձױऀʹ͔ΔΑ͏ʹฏқͳݴ༿Ͱ͞ΕΔ͜ͱ͕ଟ͍ ҩࢣͰͳ͍ී௨ͷ࡞ۀऀ͕σʔλ࡞Ͱ͖ΔΑ͏ʹλεΫΛม͢Δ ௨ৗ มޙ ʮࠓͲ͏͞Ε·͔ͨ͠ʁʯ ʮࠓே͔Β಄͕௧ͯ͘ɺు͖ؾ গ͋͠ΔΜͰ͢ʯ ೖྗ ग़ྗ ɾࠓே͔Β಄௧ ɾᅅؾ ɾࠓே͔Β಄௧ ɾᅅؾ ʮࠓͲ͏͞Ε·͔ͨ͠ʁʯ ʮࠓே͔Β಄͕௧ͯ͘ɺు͖ؾ গ͋͠ΔΜͰ͢ʯ
11 σʔλ࡞ͷ࣮ྫ - ґཔܕ
12 • ୈ1εςοϓͱͯ͠ΫϥυιʔγϯάΛར༻ͯ͠σʔλऩू • ͱʹ͔͘ਫ਼͕ͯ͘ྑ͍ͷͰσʔλ͕͋ΕΧϧςੜ͕Ͱ͖Δ͜ͱΛݕূ͍ͨ͠ • Σϒ্Ͱґཔऀͱ࡞ۀऀ͕ΓऔΓ͢ΔΫϥυιʔγϯάͷϓϥοτϑΥʔϜΛར༻ • ґཔ༰ •
6໊ʹґཔʢσʔληοτΛ3ׂɺಉҰλεΫΛ2໊ʹׂΓৼΓʣ • λεΫࣗମ1ਓ͋ͨΓ4࣌ؒ΄ͲͰऴྃ͢Δྔ • ΞϊςʔγϣϯπʔϧOSSͷDoccano*Λར༻ ୈ1εςοϓɿґཔܕͷΫϥυιʔγϯάαʔϏεΛར༻ * https://github.com/doccano/doccano
13 ϝϦοτ • Ձ֨ަব͕ՄೳͰɺൺֱత҆Ձʹ͑ΒΕΔ • ࢧ͍ํ๏: ݻఆใु / ࣌ؒ୯Ձ Λબ
• ࡞ۀऀͷϦιʔεΛؾʹ͢Δඞཁ͕ͳ͍ ʢܖ࣌ʹظՔಇఆΛ߹ҙʣ • ৬छઐٕೳΛߟྀͨ͠ґཔ͕Մೳ • ҩࢣޢࢣͱ͍ͬͨ৬छΛެ։͍ͯ͠ Δਓʹରͯ͠ɺݸผʹґཔՄೳ ґཔܕͷΫϥυιʔγϯάαʔϏε σϝϦοτ • ४උґཔ࣌ͷཧ͕͔͔Δ • ࡞ۀऀ͝ͱʹ࡞ۀγʔτid/passwordΛɹ ͍ग़ͯ͠ݸผʹ࿈བྷ • ࡞ۀऀͷ࣭࿈བྷʹճ͕ඞཁ • ґཔ͕ଟ͘ͳΕͳΔ΄Ͳཧ૿େ • ܧଓతͳґཔ͕͍͠߹͕͋Δ • ༏ྑͳ࡞ۀऀ͕͍ͨͱͯ͠ɺܧଓతʹ࡞ۀΛ ґཔͰ͖Δ͔ͦͷ࡞ۀऀ࣍ୈ
14 ΫϥυιʔγϯάʹΑΔΞϊςʔγϣϯ࡞ۀͷྲྀΕ ࣄલ४උ ืूɾܖక݁ɾґཔ ࡞ۀ ࡞ۀྃ ݕ ݁Ռͷूܭ
15 • Ξϊςʔγϣϯ༻ͷσʔληοτ࡞ • ࡞ۀऀ͝ͱʹσʔλΛׂ͢Δ • શϥϯμϜ͕ྑ͍ͷ͔ɺಉҰ࡞ۀऀʹಉ ͡ͷσʔλΛͤͨ΄͏͕ྑ͍ͷ͔ • ΞϊςʔγϣϯΨΠυϥΠϯΛ࡞
• ࡞ۀํ๏Λهड़ͨ͠υΩϡϝϯτ • ΨΠυϥΠϯ͕ਫ਼៛ʹఆ·͍ͬͯͳ͍ͱɹ ظ͢ΔΞτϓοτ͕ग़ͯ͜ͳ͍ • ࡞ۀऀͷ࣭ͳͲʹԠͯ͡ਵ࣌Ξοϓσʔτ͠ ͍ͯ͘ ࡞ۀͷྲྀΕ: ࣄલ४උ ࣄલ४උ ืूɾܖక݁ɾґཔ ࡞ۀ ࡞ۀྃ ݕ ݁Ռͷूܭ
16 ࣮ࡍʹ࡞ͨ͠ΞϊςʔγϣϯΨΠυϥΠϯ
17 ࣮ࡍʹ࡞ͨ͠ΞϊςʔγϣϯΨΠυϥΠϯ ࡞ۀํ๏ πʔϧͷ͍ํखॱ ۩ମྫ ྑ͍ೖྗ/ѱ͍ೖྗͷྫࣔ શମͷ֓ཁ ɾͳͥ͜ͷλεΫΛ͢Δͷ͔
18 • ฏқͳݴ༿ͰΘ͔Γ͘͢આ໌͠ɺεΫϦʔϯγϣοτಈըΛଟ༻͢Δ • ࡞ۀऀҰൠͷਓͳͷͰɺͳΔ͘ԣจࣈઐ༻ޠΘͣʹฏқͳݴ༿Λ͏ • ࣮ࡍͷπʔϧͷ͍ํΛը૾ಈըͰઆ໌͢Δͱཧղ͕ૣ͍ • ࡞ۀͷ۩ମྫΛఏࣔ͢Δ •
ͲΜͳΞτϓοτΛظ͞Ε͍ͯΔͷ͔Λཧղͯ͠Β͏ • ͨͩ͠ྫࣔͷΠϝʔδ͕ڧ͗͢ΔͱͦΕʹҾͬுΒΕͯ͠·͏ͷͰɺඞཁ࠷খݶʹ͢Δ • (ඞཁʹԠͯ͡) ಡΜͩޙʹ؆୯ͳ࡞ۀΛͬͯΒ͏ • υΩϡϝϯτΛಡΜ͚ͩͩͰᘳʹͰ͖ΔΘ͚Ͱͳ͍ • ࡞ۀऀͷཧղٕྔΛଌΔͨΊʹɺٖతͳλεΫΛ࣮ߦͯ͠Β͏ ΞϊςʔγϣϯΨΠυϥΠϯͷίπ
19 • ืू • ืूจΛ࡞ͯ͠ग़ߘ • ࡞ۀ༰ͷઆ໌ • ୯Ձ /
ใुͷछྨ (ݻఆใु or ࣌ؒ୯Ձ) • ఆ࣌ؒ • ඞཁεΩϧܦݧ • ϓϥοτϑΥʔϜʹΑͬͯґཔଆ͔Β࡞ۀऀ Λબͯ͠࡞ۀґཔΛૹΔ͜ͱՄೳ • ܖక݁ɾґཔ • Ԡืऀʹ͕ͳ͚Εґཔ͠ۀΛ։࢝ ࡞ۀͷྲྀΕ: ืूɾܖక݁ ࣄલ४උ ืूɾܖక݁ɾґཔ ࡞ۀ ࡞ۀྃ ݕ ݁Ռͷूܭ
20 ࡞ۀલͷίϛϡχέʔγϣϯɿ࡞ۀऀͱͷίϛϡχέʔγϣϯ ܖޙͷѫࡰͱґཔ ݕͱՃରԠ
21 • جຊతʹ࡞ۀऀͷ࡞ۀ͕ྃ͢ΔͷΛͭ • ͨͩ͠ฒྻͰෳͷ࡞ۀऀʹґཔ͍ͯ͠Δͱɹ ίϛϡχέʔγϣϯ͕ൃੜ͢ΔͨΊຖேϓϥο τϑΥʔϜͷνϟοτཝΛνΣοΫ͢Δ • ࡞ۀʹؔ͢Δ࣭ͷճରԠ •
͕ࣗґཔͨ͠ํ͔ͳΓஸೡʹͬͯ͘ΕΔ ਓ͔ΓͩͬͨͷͰɺࡉ͔͍෦࣭ͯ͘͠ Εͨ • ݕ • Ռͷ࠷ऴνΣοΫ • ࡞ۀͷൈ͚࿙Ε͕͋ΔͱՃͰ࡞ۀͯ͠Β͏ ࡞ۀͷྲྀΕ: ࡞ۀˠྃˠݕ ࣄલ४උ ืूɾܖక݁ɾґཔ ࡞ۀ ࡞ۀྃ ݕ ݁Ռͷूܭ
22 • ϓϩδΣΫτ։࢝ޙͷԾઆݕূʹྑ͍ • ४උ͕ྃ࣍͠ୈ͙͢ʹ࡞ۀΛ։࢝ͯ͘͠ΕΔͷͰɺগྔσʔλͳΒ͙͢ʹू·Δ • ఆ͍ͯ͠ͳ͔ͬͨΞϊςʔγϣϯΨΠυϥΠϯͷෆඋʹؾ͘͜ͱ͕Ͱ͖Δ • ෳͷ࡞ۀऀͱͷίϛϡχέʔγϣϯ/Ϛωʔδϝϯτ͕ϘτϧωοΫʹͳΓεέʔϧࠔ •
࡞ۀऀͷ࡞ۀ༰ࢦಋ࣭ͷճͳͲɺࢥͬͨҎ্ʹ࡞ۀ͕ൃੜ͢Δ • εέʔϧͤ͞ΔʹґཔऀଆʹཧऀΛཱͯͯɺ࡞ۀ༰ʹशख़ͯ͠Β͏ඞཁ͕͋Δ ґཔܕͷ·ͱΊ → ཧͷݮͱσʔλ࡞ͷεέʔϧΞτͷͨΊʹ ɹΞϊςʔγϣϯ࡞ձࣾґཔ͢Δ͜ͱʹ
23 σʔλ࡞ͷ࣮ྫ - ΞϊςʔγϣϯαʔϏεܕ
24 • ࣍ʹΞϊςʔγϣϯαʔϏεͷձࣾʹґཔ͢Δ͜ͱʹ • ཧͷݮͱσʔλऩू্ͷͨΊ • ॳظݕূΛૉૣ͘ߦ͏ͨΊʹҰ࣌తͳίετ૿ߏΘͳ͍ • ෳࣾʹݟੵΓΛґཔ •
ࢥ͍ͭ͘ΞϊςʔγϣϯαʔϏεΛఏڙ͍ͯ͠ΔձࣾΛϦετΞοϓ͠ɺϝʔϧΛૹΔ • ࠓճλεΫ͕গ͠ෳࡶʢର/ੜλεΫʣͳͷͰɺϦϞʔτϛʔςΟϯάͷґཔߦͬͨ • ࠓճFastLabel͞Μʹґཔ͢Δ͜ͱʹ • ܾΊखஈ + ରԠͷஸೡ͞ • (ੲTwitterͰΓऔΓ͕͋ΓΞϊςʔγϣϯπʔϧ࡞ͬͯͯ໘നͦ͏ͳձࣾͩͬͨͱ͍͏ͷ) ୈ2εςοϓɿΞϊςʔγϣϯ࡞ձࣾͷґཔ
25 ΞϊςʔγϣϯαʔϏεʹґཔ͢Δ͜ͱͰɺ֤ఔ͕Ͳ͏ͳΔ͔ ΞϊςʔγϣϯαʔϏε ࣄલ४උ ืूɾܖక݁ɾґཔ ࡞ۀ ࡞ۀྃ ݕ ݁Ռͷूܭ ࣄલ४උɾґཔ
ݕ ݁Ռड͚औΓ
26 • ࡞ۀऀͷϚωʔδϝϯτ͓Αͼ֤छίϛϡχέʔγϣϯϥΠϯ͕؆ུԽ • େ෯ͳཧݮ ࡞ۀऀͱͷίϛϡχέʔγϣϯϥΠϯ͕؆ུԽ ΫϥυιʔγϯάϓϥοτϑΥʔϜͷ߹ ΞϊςʔγϣϯαʔϏεͷ߹
27 • ࡞ۀ༰΄΅มߋͤͣ • ΞϊςʔγϣϯΨΠυϥΠϯͦͷ··ར༻ • ࡞ۀϓϥοτϑΥʔϜ͚ͩFastLabelಠࣗͷΣϒΞϓϦέʔγϣϯΛར༻ • ίϛϡχέʔγϣϯखஈ͕Slackʹʂ •
ϚϧνϫʔΫεϖʔενϟϯωϧΛ࡞͠ɺslack্ͰίϛϡχέʔγϣϯՄೳʹ • UbieଆͷϓϩμΫτΦʔφʔ։ൃऀࢀՃ͠ɺٞใڞ༗ʹࢀՃͰ͖Δ • ϝʔϧͱҧ͍ɺίϛϡχέʔγϣϯͷ৺ཧతϋʔυϧ͕Լ͕Δ (ΤϯδχΞʹخ͍͠) Ϋϥυιʔγϯά͔Βͷ࡞ۀͷมߋ
28 ୲ऀͱͷίϛϡχέʔγϣϯ ݟੵΓґཔʢܧଓґཔͷ࣌ʣ ࡞ۀ༰ͷ֬ೝ Ξϊςʔγϣϯ݁Ռͷೲ
29 • σʔλͷ࣭มΘΒͣ • ΫϥυιʔγϯάͰࣗͰίϯτϩʔϧͨ࣌͠ͱൺֱͯ͠ɺ࣭શ͘มΘΒͣ • ࡞ۀऀͷཧ͕େ෯ʹݮ͞Εͨ • Ϋϥυιʔγϯάͱൺֱͯ͠ɺࣄతͳ࡞ۀΛେ෯ʹݮΒͤΔ •
Πϯλϥϓτ͕গͳ͘ͳΔɺ͕ࣗશମͷϘτϧωοΫʹͳΔ͜ͱ͕ແ͍ • ݸʑͷ࡞ۀऀͷ࡞ۀ݁ՌͷूܭͳͲͷࡉ͔͍࡞ۀݮͬͨ • ࠷ॳͷλεΫઆ໌ґཔ࣌ͷίϛϡχέʔγϣϯίετ͚ͩඍ૿ • ग़ΓΛͳͨ͘͢Ίʹ͜ͷ෦ඞਢ ΞϊςʔγϣϯαʔϏεར༻ͷ݁Ռ
30 • తͱ͍ͯͨ͠ཧݮ͓Αͼσʔλ࡞ͷεέʔϧԽୡͰ͖ͨ • ॳظݕূʹඞཁͳ͚ͩͷσʔλΛूΊΔ͜ͱ͕Ͱ͖ͨ • ΞϊςʔγϣϯαʔϏεଆʹɺ͍͔ʹ࡞ۀΛཧղͯ͠Β͏/దٓํमਖ਼Ͱ͖Δ͔ • ࡞ۀऀʹࢦࣔ͠ͳ͘ͳͬͨ͜ͱͰɺؒతʹΞϊςʔγϣϯͷ࣭Λίϯτϩʔϧ͢Δ͜ͱ ʹͳΔ
• σʔλ࡞Λεέʔϧͤ͞Δ or ܧଓతͳґཔ͕༰қ • ಉ͡ํ๏ͷΞϊςʔγϣϯͳΒɺઆ໌ͷॳظίετ͕ෆཁʹͳΔ͕େ͖͍ • ࡞ۀऀͷՔಇΛαʔϏεଆͰࣄલʹ֬อͰ͖ΔͷϝϦοτ ΞϊςʔγϣϯαʔϏεܕͷ·ͱΊ
31 σʔλ࡞ʹ͓͚Δૉૣ͍Ձݕূͷॏཁੑ
32 • ϓϥοτϑΥʔϜͷબͦΕͧΕಘखෆಘख͕͋Δ • Ϋϥυιʔγϯάɿͱʹ͔͘ॳಈ͕ૣ͍ɺίετΛ͑ΒΕΔ • ΞϊςʔγϣϯαʔϏεձࣾɿґཔऀ(ࣗ)ͷରԠίετΛݮΒͤΔɺεέʔϧͤ͞ΒΕΔ • ͰPoCஈ֊ͷϓϩδΣΫτελʔτΞοϓʹ͓͍ͯͲ͏ཱͪճΕΑ͍ͷ͔ʁ •
ͱΓ͋͑ͣΑ͔͘Βͳ͍͚ͲΞϊςʔγϣϯαʔϏεձࣾʹ͛ΔɺͰવͳ͕Βବ • ෆ࣮֬ੑͷղফͱߴͳݕূ͕ඞཁ ࠓճͷܦݧΛ౿·͑ͨΞϊςʔγϣϯσʔλͷ࡞Γํ
33 • Ξϊςʔγϣϯͷ࡞ۀ • ৗʹఆͰ͖ͳ͍σʔλᐆດͳϧʔϧɺྫ֎έʔε͕ग़ͯ͘Δ • ΞϊςʔγϣϯΨΠυϥΠϯΛ࠷ॳ͔Βᘳʹ࡞Δ͜ͱෆՄೳ • ࡞ۀऀͷೳྗΞτϓοτͷ࣭ •
࡞ۀऀͷϨϕϧҰఆίϯτϩʔϧՄೳͳର͕ͩɺͦͷೳྗΞτϓοτͷ࣭ʹવ Β͖͕ͭ͋Δ • ͦͷΒ͖ͭΞϊςʔγϣϯ͕݅૿͑Δ͝ͱʹ૿େ͍ͯ͘͠ • ඞཁʹͳΔσʔλྔ • ػցֶशʹ͓͍ͯʮͲΕ͘Β͍σʔλ͕͋Ε͍͍Ͱ͔͢ʁʯͱ͍͏࣭͔Βಀ͛ΒΕͳ͍ • ࣮ࡍʹ࡞ͨ͠σʔλΛݩʹػցֶशϞσϧΛֶश/ධՁ͠ͳ͍ͱΘ͔Βͳ͍ զʑԿΛΒͳ͍͔ʁ
34 • Ξϊςʔγϣϯͷ࡞ۀ • ৗʹఆͰ͖ͳ͍σʔλᐆດͳϧʔϧɺྫ֎έʔε͕ग़ͯ͘Δ • ΞϊςʔγϣϯΨΠυϥΠϯΛ࠷ॳ͔Βᘳʹ࡞Δ͜ͱෆՄೳ • ࡞ۀऀͷೳྗΞτϓοτͷ࣭ •
࡞ۀऀͷϨϕϧҰఆίϯτϩʔϧՄೳͳର͕ͩɺͦͷೳྗΞτϓοτͷ࣭ʹવ Β͖͕ͭ͋Δ • ͦͷΒ͖ͭΞϊςʔγϣϯ͕݅૿͑Δ͝ͱʹ૿େ͍ͯ͘͠ • ඞཁʹͳΔσʔλྔ • ػցֶशʹ͓͍ͯʮͲΕ͘Β͍σʔλ͕͋Ε͍͍Ͱ͔͢ʁʯͱ͍͏࣭͔Βಀ͛ΒΕͳ͍ • ࣮ࡍʹ࡞ͨ͠σʔλΛݩʹػցֶशϞσϧΛֶश/ධՁ͠ͳ͍ͱΘ͔Βͳ͍ զʑԿΛΒͳ͍͔ʁ λεΫͷઃܭऀ = ґཔऀ ͔͠அͰ͖ͳ͍ ΞϊςʔγϣϯαʔϏεଆʹ ͤΔ͜ͱՄೳ ػցֶशΤϯδχΞ = ґཔऀ ͔͠ධՁͰ͖ͳ͍
35 • λεΫઃܭਓʹͤΒΕͳ͍ • ػցֶशʹͲ͏͍͏Πϯϓοτ/ΞτϓοτΛظ͢Δ͔Λߟ͑ଓ͚ͳ͚Ε͍͚ͳ͍ • ૉૣ͘ݕূ͠ํमਖ਼Λ܁Γฦ͍ͯ͘͠ɺมԽʹదԠ͢Δ • ιϑτΣΞ։ൃͰ͍͏ΞδϟΠϧ։ൃ •
ΞϊςʔγϣϯΑΔσʔλ࡞ʹ͓͍ͯಉ༷ • ·͔ͣࣗΒɺͦͯ͠पΓΛר͖ࠐΜͰ͍͘ • ·ͣࣗࣗͰݕূదԠͷαΠΫϧΛճͤΔΑ͏ʹͳΔ • ͦΕΛΑΓߴʹճ͢͜ͱ͕Ͱ͖Δํ๏Λࡧ͍ͯ͘͠ • Ұॹʹݕূͯ͘͠ΕΔΞϊςʔγϣϯαʔϏεΛݟ͚͍ͭͯ͘͜ͱ͕େࣄ ෆ࣮֬ੑʹରԠ͢ΔͨΊʹ
36 • ʮίΤΧϧςʯʹ͓͚Δର͔ΒͷΧϧςੜλεΫͷσʔλ࡞ • ҩࢣͷΑ͏ͳߴ୯Ձͳ࿑ྗΛඞཁͱ͢ΔλεΫΛɺͯ͠Ұൠͷ࡞ۀऀͰՄೳʹ • 2छྨͷํ๏ͰΞϊςʔγϣϯσʔλΛ࡞ • ΫϥυιʔγϯάϓϥοτϑΥʔϜͱΞϊςʔγϣϯαʔϏεͦΕͧΕʹಘखෆಘख͕͋Δ •
ཧͱۚમతίετͷτϨʔυΦϑͳͳ͔ɺ͍͔ʹσʔλ࡞Λεέʔϧ͍͔ͤͯ͘͞ • ૉૣ͘σʔλΛߏங͠ݕূΛճͨ͢Ίʹ • λεΫઃܭऀ͕ओମతʹෆ࣮֬ੑΛ௵͍ͯ͘͠ඞཁ͕͋Δ • ҰॹʹݕূΛճ͢ύʔτφʔͱͯ͠ͷɺΫϥυιʔγϯάΞϊςʔγϣϯαʔϏε શମͷ·ͱΊ
37 ͓͢͢Ίࢀߟจݙ • ʮΫϥυιʔγϯά͕ෆՄೳΛՄೳʹ͢Δʯౢ ްߦ ஶ ڞཱग़൛ • ΫϥυιʔγϯάͷશମײΛ௫Ήͷʹ࠷ద •
ಡΈͱͯ͠ॻ͔Ε͓ͯΓɺ۩ମࣄྫ͕๛Ͱɺ͕ࣜগͳ͍ • ʮHuman-in-the-Loop ػցֶश ʯ Yukino Baba • https://speakerdeck.com/yukinobaba/human-in-the-loop-machine-learning • ΫϥυιʔγϯάͰ͍͔ʹ࣭Λ୲อ͢Δ͔ͷݚڀࣄྫ͕๛ʹհ͞Ε͍ͯΔ • σʔλͷ࣭ʹରͯ͠ͷΞϓϩʔν͕ࢀߟʹͳΔ Appendix