Share
Embed
Life on LINEを実現する画像技術のパラダイムシフト / A paradigm shift in image technology that realizes Life on LINE
LINE株式会社 AI企画2室 副室長 中島 邦弘
NAVER Corporation Visual AI Leader 白 榮民 / Baek Young Min
LINE株式会社 AI開発室 Computer Vision Lab マネージャー 井尻 善久
LINE AI DAYでの登壇資料です
https://clova.line.me/lineaiday2021/
紙や券面で行われていた業務から開放されるためComputer Visionを活用するニーズが高まってきております。しかし、Computer Visionに代表されるOCRやeKYCで読取りをする中で統一された形式や環境はほとんど存在しません。このような条件下でも精度高く、高効率に画像AIが処理する様々な工夫が求められます。そこでLINEが持つ高度な技術を収斂させて利用しやすい形にしていくことで「これからのあたりまえ」となるサービス提供を志しております。本セッションでは、LINEが画像AI技術として追い求めている課題、課題の解決策としての具体的な技術、そして解決策の先を見据えた今後のビジョンについてご紹介します。
LINE Developers
July 15, 2021
Transcript
49 slides
-
Life on LINEを実現する 画像技術のパラダイムシフト -*/&גࣜձࣾ "*اըࣨ ෭ࣨ /"7&3$PSQPSBUJPO 7JTVBM"*-FBEFS -*/&גࣜձࣾ
"*։ൃࣨ $PNQVUFS7JTJPO-BCνʔϜ Ϛωʔδϟʔ தౡ ߂ #BFL :PVOH.JO Ҫ৲ળٱ -
Nakajima Kunihiro -*/&גࣜձࣾ "*Χϯύχʔ "*اըࣨ ෭ࣨ ಠཱܥ4*FSͰެி&$ͷجװγεςϜߏங͔Βɺ ϕϯνϟʔͷ$50ͱͯ͠ϏοΫσʔλΛ׆༻ͨ͠ 8FCɺΫϥυΛར༻ͨ͠։ൃɺج൫ߏஙΛܦݧɻ ·ͨ์ૹۀքͰେنτϥϑΟοΫΛѻ͏
࣍ੈಈը৴αʔϏεߏஙͷܦݧΛܦͯɺʹ-*/&ʹೖࣾɻ ݱࡏը૾ͱಈըʹ͔͔ΘΔ"*ͷϓϩμΫτاըɾ4BB4ج൫اըΛ୲ɻ -
ͰۀޮΛվળ͠·ͤΜ͔ʁ $-07"0$3ɺࢴ໘ɾը૾ʹهࡌ͞ΕͨจࣈɾจষΛςΩετσʔλ ม͢ΔαʔϏεͰ͢ɻ$-07"0$3Λ׆༻͢Δ͜ͱͰɺථొɾ ྖऩॻɾূ໌ূɺϞόΠϧΞϓϦ্ʹ͓͚ΔใೖྗͳͲɺࡶͳ ೖྗ࡞ۀΛ؆୯ʹ͠ɺखೖྗͷ࣌ؒΛେ෯ʹݮ͠·͢ɻखॻ͖จࣈ ۂͨ͠จࣈͳͲѱ݅ԼͰਫ਼ߴ͘ೝࣝ͠·͢ɻଟݴޠͷରԠՄ ೳͰ͢ɻ ˞จॻղੳͱೝࣝʹؔ͢Δࠃࡍձٞͷʹͯੈք/PΛ֫ಘ ʢ*$%"3ɿ࣌ʣ ʘ
࣌ؒͱίετΛେ෯ʹݮʂ ʗ $-07"0$3ͱ -*/&͕ಠࣗʹ։ൃͨ͠ੈք/P ͷ"*0$3ʢ"*ࡌܕͷจࣈೝٕࣝज़ʣ -
ఆܕ ඇఆܕ ɾࣄલʹϨΠΞτઃఆ͕ඞཁ ɾҟͳΔϨΠΞτͰෳొՄೳ ɾࢦఆ߲ͨ͠ͷΈςΩετԽ ɾಡΈࠐΜͩࡍʹͲͷϑΥʔϜ͔ ࣗಈผ͠ɺৼΓ͚Մೳ ɾࣄલઃఆෆཁ ɾॎॻ͖จষจࣈͷؙ͖ΈͳͲɺ ͞·͟·ͳจࣈʹରԠ
ɾࣸਅ͔ΒจࣈΛى͜͢ɺอࢿྉʹ λά͚͢Δʹ༗ޮͳख๏ ಛఆாථ ͞·͟·ͳϨΠΞτͷாථΛςΩετԽ จॻ༷ࣜΛΘͣாථશͯͷจࣈΛநग़ ಡΈऔΔ͚ͩͰࣗಈղੳɾೝࣝ͠ςΩετԽ ɾࣄલઃఆෆཁ ɾରԠாථɿ*%Χʔυʢ໔ڐূύεϙʔτʣ ྖऩॻϨγʔτ໊ͳͲ ɾओཁ߲Λࣗಈղੳɾೝࣝ͢Δ͜ͱ͕Մೳ $-07"0$3͕Ͱ͖Δ͜ͱ ϑΥʔϚοτ͕ܾ·͍ͬͯΔॻྨͪΖΜɺ͋ΒΏΔελΠϧͷॻྨΛਖ਼͘͠ςΩετԽ͠·͢ɻ -
Why F,:$Λར༻͢ΔతຊਓೝূͷσδλϧԽ͕͋Γ·͢ɻͦͷଞ ʹ֬ೝͷͨΊʹ͔͔͍ͬͯͨ༣ૹిΛֻ͚Δίετɺ৹ࠪ ʹ͔͚ΔίετͳͲΛݮ͢ΔޮՌݟࠐ·Ε·͢ɻ͜ͷશମత ͳྲྀΕͷޮԽίετݮʹΑΓɺϚΠΫϩϓϩμΫτԽ͕ଅ ਐ͞Ε৽͍͠Ϗδωεͷग़ߟ͑ΒΕ·͢ɻ ͜ΕΛ࣮ݱ͢ΔͨΊʹɺଟ͘ͷϨΠΞτ͕ଘࡏ͢Δূͷ ಡऔΓਫ਼ͷ্ܰྔͰߴੑೳͳإೝূٕज़ͷཱ͕֬ඞཁʹͳ Γ·͢ɻ eKYC๊͕͑ΔδϨϯϚ
F,:$ͷ͞ΒͳΔ"*ٕज़্ͷͨΊͷࢳޱΛ୳Δ eKYC 集客 最⾼⽔準のAI技術 顧客を⼀元管理 継続的な コミュニケーション Chat Botを活⽤したスムーズな コミュニケーション 継続確認・諸⼿続きに 対応 使い慣れた LINEで⼿軽に セキュリティ ⼝座開設時の 本⼈確認 Platform -
ֶशσʔλ४උ "OOPUBUJPO Ϟσϧֶश ఆྔఆੑධՁ "OOPUBUJPOඅ༻ͷ૿େ • <"T*T>ෳਓ͕ि͔ؒ ͚ͯΞϊςʔγϣϯΛ࣮ ࢪ͍ͯ͠ΔͨΊɺ࣌ؒ ίετ૿େ
جຊతͳਖ਼֬ͷ্ ૯ఔͷظԽ ղ͖͘՝ -*/&͕ݱࡏղ͜͏ͱ͍ͯ͠Δ՝ ֶशॲཧ ςετ Ϟσϧௐ ݕূσʔ λॲཧ ධՁ ϑΟʔυ όοΫ ֶशσʔλͷ֬อͷ͠͞ • <"T*T>ઍຕʙສຕ ͷਖ਼ղσʔλΛඞཁͱ͠ ͍ͯΔ • <5P#F>ຕʙඦຕͩ ͚͋ΕֶशͰ͖ΔΑ͏ ʹ͍ͨ͠ • <5P#F>ར༻ऀͷํ͕ ઃఆͰ͖ΔΑ͏ʹͨ͠ ͍ • <"T*T>࣍ݩσʔλΛ࣍ ݩσʔλʹ͍ͯ͠Δաఔ ͰϨΠΞτใ͕ܽམ ͢Δ • <5P#F>ϨΠΞτ 'POUελΠϧΛ׆༻͠ ͯগྔͰจॻཧղΛͰ͖ ΔΑ͏ʹ͍ͨ͠ • <"T*T>૯։ൃظؒ̐ʙ ϲ݄Ҏ্͔͔Δ • <5P#F>ϲ݄ҎʹͰ ͖ΔΑ͏ʹ͍ͨ͠ -
Baek Young Min NAVER Corporation Visual AI Leader • αʔϏεϩϘοτʹڵຯΛ࣋ͪɺຊʹཹֶɻͦͷޙ൜Ͱ
&NCFEEFE4ZTUFNͰͷը૾ॲཧΛ։ൃɻ/"7&3ʹೖࣾ Ҏ߱0$3ͷݚڀʹऔΓΈɺ7JTJPO$POGFSFODFʹͯจΛൃදɻ ੈք/Pͷ0$3ٕज़Λ༻͍ͯจॻೝࣝূೝࣝͳͲͷαʔϏ ε։ൃΛ୲ɻݱࡏ7JTVBM"*νʔϜͷϦʔμʔͱͯ͠ɺإೝ ূɾϏσΦ͔Βߦಈੳʹؔ͢ΔݚڀΛਐΊΔͱͱʹɺF,:$ ιϦϡʔγϣϯΛ։ൃதɻ -
F,:$向͚ͷ"*技術 ٕज़ίϯϙʔωϯτ ূೝࣝͷͨΊͷOCRٕज़ ໊લɿ ຊ Ֆࢠ ༗ޮظݶɿ ˓˓˓˓݄˓˓ ൪߸ɿ
ຊਓݕূͷͨΊͷإೝٕࣝज़ إݕূ ࡱӨ͞Εͨը૾ -
F,:$向͚ͷ"*技術 ۩ମతͳٕज़ίϯϙʔωϯτ ຊਓݕূͷͨΊͷإೝٕࣝज़ 'BDF %FUFDUJPO 'BDF "MJHONFOU 'BDF 3FDPHOJUJPO ূೝࣝͷͨΊͷOCRٕज़
5FYU %FUFDUJPO 5FYU 3FDPHOJUJPO 5FYU 1BSTJOH ໊લɿ ຊ Ֆࢠ ༗ޮظݶɿ ˓˓˓˓݄˓˓ ൪߸ɿ -
F,:$向͚ͷ"*技術 ۩ମతͳٕज़ίϯϙʔωϯτ ূೝࣝͷͨΊͷOCRٕज़ ຊਓݕূͷͨΊͷإೝٕࣝज़ 5FYU %FUFDUJPO 5FYU 3FDPHOJUJPO 5FYU 1BSTJOH
'BDF %FUFDUJPO 'BDF "MJHONFOU 'BDF 3FDPHOJUJPO ໊લɿ ຊ Ֆࢠ ༗ޮظݶɿ ˓˓˓˓݄˓˓ ൪߸ɿ 5PEBZ`TNBJOUPQJDT -
F,:$向͚ͷ"*技術 ۩ମతͳٕज़ίϯϙʔωϯτ ূೝࣝͷͨΊͷOCRٕज़ ຊਓݕূͷͨΊͷإೝٕࣝज़ 5FYU %FUFDUJPO 5FYU 3FDPHOJUJPO 5FYU 1BSTJOH
'BDF %FUFDUJPO 'BDF "MJHONFOU 'BDF 3FDPHOJUJPO <>$3"'5 <>#FODINBSL <>105 <>41"%& <>#304 <>&95% <>#BFL :PVOHNJO FUBM$IBSBDUFSSFHJPOBXBSFOFTTGPSUFYUEFUFDUJPO $713 <>#BFL +FPOHIVO FUBM8IBUJTXSPOHXJUITDFOFUFYUSFDPHOJUJPONPEFMDPNQBSJTPOT EBUBTFUBOENPEFMBOBMZTJT *$$7 <>)XBOH 8POTFPL FUBM0$3ςΩετҙຯղੳCVJMEJOHTJNQMFBOESPCVTUQBSTFSWJB#*0UBHHJOH/FVS*14 8PSLTIPQ <>)XBOH 8POTFPL FUBM4QBUJBM%FQFOEFODZ1BSTJOHGPS%%PDVNFOU6OEFSTUBOEJOHBS9JW QSFQSJOUBS9JW <>)POH 5FBLHZV FUBM#304"1SFUSBJOFE-BOHVBHF.PEFMGPS6OEFSTUBOEJOH5FYUTJO%PDVNFOUl0QFO3FWJFX <>:PP :PVOH+PPO FUBM&95%&YUSFNFMZUJOZGBDFEFUFDUPSWJBJUFSBUJWFGJMUFSSFVTFBS9JW QSFQSJOUBS9JW -
ূೝࣝͷ0$3ٕज़ ূͷλΠϓͷྲྀʢఆܕɾඇఆܕʣ ӡస໔ڐূ ϚΠφϯόʔΧʔυ ύεϙʔτ ࡏཹΧʔυ ֶੜূɺࣾһূ ໊ IUUQXXXDSDVUPLZPBDKQHZPNVLPTIVJOEFY@FIUNM ఆܗ
ݻఆ͞ΕͨϨΠΞτͷ ূͷछྨ ඇఆܕ ݻఆ͞Εͯͳ͍ϨΠΞτͷ ূͷछྨ -
ςΩετҙຯղੳͷख๏ 1BSTJOHٕज़ ςΩετͷҙຯΛѲ OCR 言語Ϟσϧ <> Serializer CROSS CHANNEL NETWORK
SDN. BHD. 47 JALAN MERANTI 1, SEK. 3, BANDAR UTAMA BATANG KALI, 44300 BATANG KALI, SELANGOR. Tel:03-6057 9688 Fax:03-6057 9678 GSTID:001151500288 Tax Invoice No.:BTG-052332 Qty RM Tax SCHNEIDER E15R 13A SWITCH 1 6.36 SR SOCKETOUTLET @ 6.0000 Total Amt Incl GST @ 6%: 6.36 Rounding Adjustment -0.01 TotalAmt Payable 6.35 Paid Amount 13.88 Change Total Qty. Tender 1.00 GST Summary Amount Tax (RM). (RM) SR@A 6,00 0.36 Total 6.00 0.36 THANKYOU Goods sold are not refundable nor exchangeble. For any enquiry, please e-mail us: [email protected] 29/01/2018 4:40:40 PM CROSS CHANNEL NETWORK SDN. BHD. 47 JALAN MERANTI 1, SEK. 3, BANDAR UTAMA BATANG KALI, 44300 BATANG KALI, SELANGOR. Tel:03-6057 9688 Fax:03-6057 9678 GSTID:001151500288 Tax Invoice No.:BTG-052332 Qty RM Tax SCHNEIDER E15R 13A SWITCH 1 6.36 SR SOCKETOUTLET @ 6.0000 Total Amt Incl GST @ 6%: 6.36 Rounding Adjustment -0.01 TotalAmt Payable 6.35 Paid Amount 13.88 Change Total Qty. Tender 1.00 GST Summary Amount Tax (RM). (RM) SR@A 6,00 0.36 Total 6.00 0.36 THANKYOU Goods sold are not refundable nor exchangeble. For any enquiry, please e-mail us: [email protected] 29/01/2018 4:40:40 PM • Company - CROSS CHANNEL NETWORK SDN. BHD. • Date - 29/01/2018 • Total - 6.35 • Address - 47, JALAN MERANTI 1, SEK. 3, BANDAR UTAMA BATANG KALI, 44300 BATANG KALI, SELANGOR. [1] Devlin, Jacob, et al. "Bert: Pre-training of deep bidirectional transformers for language understanding." arXiv preprint (2018). -
0$3ςΩετҙຯղੳͷ課題ʢ̍ʣ 1BSTJOHٕज़ OCR 言語Ϟσϧ <> Serializer CROSS CHANNEL NETWORK SDN.
BHD. 47 JALAN MERANTI 1, SEK. 3, BANDAR UTAMA BATANG KALI, 44300 BATANG KALI, SELANGOR. Tel:03-6057 9688 Fax:03-6057 9678 GSTID:001151500288 Tax Invoice No.:BTG-052332 Qty RM Tax SCHNEIDER E15R 13A SWITCH 1 6.36 SR SOCKETOUTLET @ 6.0000 Total Amt Incl GST @ 6%: 6.36 Rounding Adjustment -0.01 TotalAmt Payable 6.35 Paid Amount 13.88 Change Total Qty. Tender 1.00 GST Summary Amount Tax (RM). (RM) SR@A 6,00 0.36 Total 6.00 0.36 THANKYOU Goods sold are not refundable nor exchangeble. For any enquiry, please e-mail us: [email protected] 29/01/2018 4:40:40 PM CROSS CHANNEL NETWORK SDN. BHD. 47 JALAN MERANTI 1, SEK. 3, BANDAR UTAMA BATANG KALI, 44300 BATANG KALI, SELANGOR. Tel:03-6057 9688 Fax:03-6057 9678 GSTID:001151500288 Tax Invoice No.:BTG-052332 Qty RM Tax SCHNEIDER E15R 13A SWITCH 1 6.36 SR SOCKETOUTLET @ 6.0000 Total Amt Incl GST @ 6%: 6.36 Rounding Adjustment -0.01 TotalAmt Payable 6.35 Paid Amount 13.88 Change Total Qty. Tender 1.00 GST Summary Amount Tax (RM). (RM) SR@A 6,00 0.36 Total 6.00 0.36 THANKYOU Goods sold are not refundable nor exchangeble. For any enquiry, please e-mail us: [email protected] 29/01/2018 4:40:40 PM • Company - CROSS CHANNEL NETWORK SDN. BHD. • Date - 29/01/2018 • Total - 6.35 • Address - 47, JALAN MERANTI 1, SEK. 3, BANDAR UTAMA BATANG KALI, 44300 BATANG KALI, SELANGOR. <>%FWMJO +BDPC FUBM#FSU1SFUSBJOJOHPGEFFQCJEJSFDUJPOBMUSBOTGPSNFSTGPSMBOHVBHFVOEFSTUBOEJOHBS9JW QSFQSJOU ̎࣍ݩσʔλ ७ਮͳݴޠϞσϧ ̍࣍ݩσʔλ 0$3Ͱೝࣝͨ͠จࣈͷҙຯΛѲ à ϨΠΞτใΛࣦ͏ -
0$3ςΩετҙຯղੳͷ課題ʢ̎ʣ 1BSTJOHٕज़ 言語Ϟσϧ <> CROSS CHANNEL NETWORK SDN. BHD. 47
JALAN MERANTI 1, SEK. 3, BANDAR UTAMA BATANG KALI, 44300 BATANG KALI, SELANGOR. Tel:03-6057 9688 Fax:03-6057 9678 GSTID:001151500288 Tax Invoice No.:BTG-052332 Qty RM Tax SCHNEIDER E15R 13A SWITCH 1 6.36 SR SOCKETOUTLET @ 6.0000 Total Amt Incl GST @ 6%: 6.36 Rounding Adjustment -0.01 TotalAmt Payable 6.35 Paid Amount 13.88 Change Total Qty. Tender 1.00 GST Summary Amount Tax (RM). (RM) SR@A 6,00 0.36 Total 6.00 0.36 THANKYOU Goods sold are not refundable nor exchangeble. For any enquiry, please e-mail us: [email protected] 29/01/2018 4:40:40 PM CROSS CHANNEL NETWORK SDN. BHD. 47 JALAN MERANTI 1, SEK. 3, BANDAR UTAMA BATANG KALI, 44300 BATANG KALI, SELANGOR. Tel:03-6057 9688 Fax:03-6057 9678 GSTID:001151500288 Tax Invoice No.:BTG-052332 Qty RM Tax SCHNEIDER E15R 13A SWITCH 1 6.36 SR SOCKETOUTLET @ 6.0000 Total Amt Incl GST @ 6%: 6.36 Rounding Adjustment -0.01 TotalAmt Payable 6.35 Paid Amount 13.88 Change Total Qty. Tender 1.00 GST Summary Amount Tax (RM). (RM) SR@A 6,00 0.36 Total 6.00 0.36 THANKYOU Goods sold are not refundable nor exchangeble. For any enquiry, please e-mail us: [email protected] 29/01/2018 4:40:40 PM • Company - CROSS CHANNEL NETWORK SDN. BHD. • Date - 29/01/2018 • Total - 6.35 • Address - 47, JALAN MERANTI 1, SEK. 3, BANDAR UTAMA BATANG KALI, 44300 BATANG KALI, SELANGOR. <>%FWMJO +BDPC FUBM#FSU1SFUSBJOJOHPGEFFQCJEJSFDUJPOBMUSBOTGPSNFSTGPSMBOHVBHFVOEFSTUBOEJOHBS9JW QSFQSJOU Ϟσϧֶशͷࡍ େྔͷσʔλ͕ඞཁ Ϟσϧੜίετ͕ߴ͍ 0$3Ͱೝࣝͨ͠จࣈͷҙຯΛѲ -
େྔͷσʔλΛࣄલֶश(ݴޠʴϨΠΞτʣ ࣄલֶशจॻϞσϧ ݱࡏͷ՝ͷղܾࡦɿ ϨΠΞτใΛࣦ͏ Ϟσϧੜίετ͕ߴ͍ <>)POH 5FBLHZV FUBM#304"1SFUSBJOFE-BOHVBHF.PEFMGPS6OEFSTUBOEJOH5FYUTJO%PDVNFOUl0QFO3FWJFX
•BROS (BERT Relying on Spatiality) (SBQICBTFEEFDPEFS "SFBNBTLFE-. %QPTJUJPOFNCFEEJOH →ϨΠΞτใΛϞσϦϯά →ڭࢣͳֶ͠श →ݴޠɾϨΠΞτج൫ೝࣝ -
େྔͷσʔλΛࣄલֶश ݴޠʴϨΠΞτʣˠτϥϯεϑΝʔϥʔχϯά ࣄલֶशจॻϞσϧ ݱࡏͷ՝ͷղܾࡦɿ ϨΠΞτใΛࣦ͏ Ϟσϧੜίετ͕ߴ͍ <>)POH 5FBLHZV
FUBM#304"1SFUSBJOFE-BOHVBHF.PEFMGPS6OEFSTUBOEJOH5FYUTJO%PDVNFOUl0QFO3FWJFX ༷ʑͳจॻͷΠϝʔδ ࣄલֶशจॻϞσϧ ݴޠɺϨΠΞτ Downstream task ໊ Ϩγʔτ ΠϯϘΠε 1SFUSBJOJOHQIBTF 5SBOTGFSMFBSOJOH -
େྔͷσʔλΛࣄલֶशͷҙຯ ࣄલֶशจॻϞσϧ <>)POH 5FBLHZV FUBM#304"1SFUSBJOFE-BOHVBHF.PEFMGPS6OEFSTUBOEJOH5FYUTJO%PDVNFOUl0QFO3FWJFX ᶃ จॻೝࣝϞσϧͷֶशʹඞཁͳσʔλͷྔݮ → ֶश༻σʔλͷྔΛ90ˋݮগ ᶄ
ൣғͷೝࣝλεΫʹ༻͍Δ͜ͱ͕Մೳ → ࣄલֶशϞσϧͷ൚༻ੑΛݕূ ݱࡏͷ՝ͷղܾࡦɿ ϨΠΞτใΛࣦ͏ Ϟσϧੜίετ͕ߴ͍ -
F,:$向͚ͷ"*技術 ٕज़ίϯϙʔωϯτ ূೝࣝͷͨΊͷOCRٕज़ ຊਓݕূͷͨΊͷإೝٕࣝज़ 5FYU %FUFDUJPO 5FYU 3FDPHOJUJPO 5FYU 1BSTJOH
'BDF %FUFDUJPO 'BDF "MJHONFOU 'BDF 3FDPHOJUJPO <>$3"'5 <>#FODINBSL <>105 <>41"%& <>#304 <>&95% <>#BFL :PVOHNJO FUBM$IBSBDUFSSFHJPOBXBSFOFTTGPSUFYUEFUFDUJPO $713 <>#BFL +FPOHIVO FUBM8IBUJTXSPOHXJUITDFOFUFYUSFDPHOJUJPONPEFMDPNQBSJTPOT EBUBTFUBOENPEFMBOBMZTJT *$$7 <>)XBOH 8POTFPL FUBM0$3ςΩετҙຯղੳCVJMEJOHTJNQMFBOESPCVTUQBSTFSWJB#*0UBHHJOH/FVS*14 8PSLTIPQ <>)XBOH 8POTFPL FUBM4QBUJBM%FQFOEFODZ1BSTJOHGPS%%PDVNFOU6OEFSTUBOEJOHBS9JW QSFQSJOUBS9JW <>)POH 5FBLHZV FUBM#304"1SFUSBJOFE-BOHVBHF.PEFMGPS6OEFSTUBOEJOH5FYUTJO%PDVNFOUl0QFO3FWJFX <>:PP :PVOH+PPO FUBM&95%&YUSFNFMZUJOZGBDFEFUFDUPSWJBJUFSBUJWFGJMUFSSFVTFBS9JW QSFQSJOUBS9JW -
إೝٕࣝज़ إͷҐஔݕग़ إݕग़࣮ݱͷΞΠσΞ '1/ߏͷϞσϧ<> <>-JO
5TVOH:J FUBM'FBUVSFQZSBNJEOFUXPSLTGPSPCKFDUEFUFDUJPO$713 -
إೝٕࣝज़ إͷҐஔݕग़ إݕग़࣮ݱͷΞΠσΞ ᶃ *UFSBUJWFTIBSJOHPGDPOWPMVUJPOCMPDLT
%JGGFSFOUDPOWPMVUJPOCMPDLT -
إೝٕࣝज़ إͷҐஔݕग़ إݕग़࣮ݱͷΞΠσΞ ᶃ *UFSBUJWFTIBSJOHPGDPOWPMVUJPOCMPDLT
4IBSFEDPOWPMVUJPOCMPDLT ˠ ܰྔԽ -
·ͱΊ F,:$͚ͷ"*ٕज़ ূೝࣝͷͨΊͷOCRٕज़ ຊਓݕূͷͨΊͷإೝٕࣝज़ 5FYU %FUFDUJPO 5FYU 3FDPHOJUJPO 5FYU 1BSTJOH
'BDF %FUFDUJPO 'BDF "MJHONFOU 'BDF 3FDPHOJUJPO <>$3"'5 <>#FODINBSL <>105 <>41"%& <>#304 <>&95% <>#BFL :PVOHNJO FUBM$IBSBDUFSSFHJPOBXBSFOFTTGPSUFYUEFUFDUJPO $713 <>#BFL +FPOHIVO FUBM8IBUJTXSPOHXJUITDFOFUFYUSFDPHOJUJPONPEFMDPNQBSJTPOT EBUBTFUBOENPEFMBOBMZTJT *$$7 <>)XBOH 8POTFPL FUBM0$3ςΩετҙຯղੳCVJMEJOHTJNQMFBOESPCVTUQBSTFSWJB#*0UBHHJOH/FVS*14 8PSLTIPQ <>)XBOH 8POTFPL FUBM4QBUJBM%FQFOEFODZ1BSTJOHGPS%%PDVNFOU6OEFSTUBOEJOHBS9JW QSFQSJOUBS9JW <>)POH 5FBLHZV FUBM#304"1SFUSBJOFE-BOHVBHF.PEFMGPS6OEFSTUBOEJOH5FYUTJO%PDVNFOUl0QFO3FWJFX <>:PP :PVOH+PPO FUBM&95%&YUSFNFMZUJOZGBDFEFUFDUPSWJBJUFSBUJWFGJMUFSSFVTFBS9JW QSFQSJOUBS9JW -
Ijiri Yoshihisa LINEגࣜձࣾ Computer Vision LabνʔϜ Ϛωʔδϟʔ ΦϜϩϯʹೖࣾޙɺͷը૾ºػցֶशͷᴈ໌ظʹɺ 0,"07JTJPOͷ։ൃϓϩδΣΫτͷҰһͱٕͯ͠ज़։ൃɾ࣮༻ԽΛ Ϧʔυ͠ɺإݕग़ɾإೝࣝͷσδΧϝɾܞଳిɺηΩϡϦςΟɾ
൜ɾϚʔέςΟϯάγεςϜͳͲͷ։ൃʹैࣄ લ͔Βମݕग़ɾηάϝϯςʔγϣϯɾ0$3ٕज़ͳͲ ͷࣗಈԽʹ͚ͨԽɾϓϩϞʔγϣϯΛϦʔυ ͔ΒɺϩϘοτͷࣗԽɺ͓Αͼ͠ͳ͔ͳ੍ޚΛ࣮ݱ͢ ΔιϑτϩϘοτݚڀΛਪਐ ʹɺ͜ΕΒΛܦͯ-*/&ʹೖࣾ͠ɺ $PNQVUFS7JTJPO-BCͷ νʔϜϏϧσΟϯά͓Αͼ։ൃϦʔυΛखֻ͚Δ -
ૉૣֶ͘श͢Δ͜ͱਓͷೳͷಛͰ͋ΓɺগͷࣄྫΛݩʹରΛೝࣝ͠ ͨΓɺ΄Μͷͷ࿅शͰ৽͍ٕ͠ೳΛ֮͑ͨΓͰ͖ΔɻզʑͷਓΤʔδΣϯ τಉ༷ʹ΄Μͷগ͠ͷࣄྫͰֶश͠ॱԠ͠ɺσʔλ͕૿͑ΔʹͭΕͯ͞Βʹ దԠ͍ͯ͘͠ඞཁ͕͋Δɻ Learning quickly is a hallmark of
human intelligence, whether it involves recognizing objects from a few examples or quickly learning new skills after just minutes of experience. Our artificial agents should be able to do the same, learning and adapting quickly from only a few examples, and continuing to adapt as more data becomes available. - by Finn, Abbeel, and Levine, 2017 @ MAML paper ͍· "*ͷೳ͕ࢼ͞Ε͍ͯΔ -
ೳͷຊ࣭ͱԿ͔ʁ -*/&͕ղ͘$7ͷ՝ • దԠೳྗɿ ৽͍͠ڥʹߴʹૉૣ͘దԠͰ͖Δ͜ͱ • ࣗɿ ࣗͰߟ͑͠ଓ͚Δ͜ͱ • ੑɿ
҆৺ͯͤ͠ΒΕΔेͳஅೳྗΛ࣋ͭ͜ͱ -
• ؆୯ʹΧελϚΠζͰ͖Δ͜ͱ • ࣗతʢͭ·ΓαεςφϒϧʣʹֶͿ͜ͱ • ਓΛ͑Δݡ͞ɾਫ਼Λ࣮ݱ͢Δ͜ͱ ͍· "*ʹٻΊΒΕ͍ͯΔ͜ͱ ਓ͕҆৺ͯͤ͠ΒΕΔΫΦϦςΟΛ؆୯ʹ࣮ݱͰ͖Δ͜ͱ ,FZ*OTJHIUɿ
ϚϧνΫϩεϞʔμϧɺ֊తͳࣝ ׆༻ ݱಛ༗ͷ༻ޠϨΠΞτจ຺ͳͲ ,FZ*OTJHIUɿ Ϣʔβೖྗͷ࠷దॲཧɺλεΫϞδϡʔϧऔଗ͑ ,FZ*OTJHIUɿ μʔΫσʔλͷ׆༻ɺσʔλͷ"TJT׆༻ʹΑΔݱͰͷ࠷খݶֶश -
"4*4 • ݶΒΕͨϞμϦςΟ r ը૾ύλʔϯͷΈ • ݶΒΕͨίϯςΫετ r ঢ়گஅྨਪ͕ͳ͍ ݶΒΕͨϞμϦςΟɾίϯςΫετʹཔΔͨΊɺਫ਼͕಄ଧͪ
50#& • ϦονͳϞμϦςΟ r ը૾͚ͩͰͳ͘ɺݴޠߏɾԻͳͲɺ֊త͔ͭ ϚϧνϞʔμϧͳࣝΛநग़ֶͯ͠शਪ • ϦονͳίϯςΫετ r ϨΠΞτɾલޙߏɾจ๏ߏɾจ຺ͳͲؔ ੑʹؔ͢ΔࣝΛֶश ͑ΔώϯτΛ͍Γ࠷େݶͷੑೳΛ࣮ݱ ਓΛ͑Δݡ͞ɾਫ਼Λ࣮ݱ͢Δ͜ͱ ҰͭҰͭͷΠϯελϯεͰཧղ͠Α͏ͱ͢ΔͷͰͳ͘ɺ ϚϧνϞʔμϧɾΫϩεϞʔμϧͳώϯτΛ׆༻͠ɺશମͱͯ͠ͷ߹ੑίϯςΫετΛߟྀͨ͠ਪΛ͢Δ ⽂法・⽂脈 ⽂書種類 A ⾳声 対話⽂脈 画像情報 レイアウト フォーマット 画像情報 出⼒ 出⼒ -
"4*4 • େྔͷਖ਼ղσʔλ r Ξϊςʔγϣϯίετͷංେ • ݱͰֶश r ݱͰͷϑΝΠϯνϡʔχϯάυϝΠϯద߹Ͱཁٻਫ਼࣮ݱ ݱͰେྔσʔλΛඋ͠ɺେͳܭࢉࢿݯΛ༻ֶ͍ͯशͤ͞Δ
50#& • ϢʔβೖྗʹԠͨ͡࠷దڍಈઃఆ rେنϞσϧͷڍಈ͕Ϣʔβҙਤɾઃ ఆͱ߹͏Α͏ʹେنϞσϧͷೖྗΛ࠷దԽ • ଟ༷ͳλεΫϔουͷଗ͑ r ݱλεΫଟ༷ɺͦΕΒʹରԠͨ͠λε ΫΛϞδϡʔϧͱͯ͠औΓଗ͑ɺλεΫΛબ͢Δ͚ͩͰॴͷॲཧΛ࣮ݱ ৽ͨͳڥʹߴɾखܰʹॱԠ͠ݱͰֶͿ ؆୯ʹΧελϚΠζͰ͖Δ͜ͱ େྔʹΔσʔλΛ׆༻ͯ͠ݱಛ༗ͷ՝Λ"*ʹڭ͑ࠐΈ ݱͷݻ༗ੑมԽʹ߹Θ͓ͤͯ٬༷͕؆୯ʹΧελϚΠζͰ͖ΔίϯύΫτͳ"* 現場知識が刷り込まれた ネットワーク プロンプトチューニング ユーザ⼊⼒に応じ⼤規模モデルの ロールを最適設定する事前学習 タスクヘッドと特徴抽出の分離 タスクヘッドをモジュール化して おき現場では最⼩限の学習で⽴上げ 現場が変わるごとに 学習やり直しで負担⼤ ⽴ち上げるたびに 正解データの整備等で負担⼤ ⼤規模な特徴抽出は事前学習 汎⽤的な特徴抽出はLINE/Naverの リッチな計算資源で鍛え上げておく 階層的な最適化 Nested optimizationによる 全体最適化 -
"4*4 • ༩͑ͨσʔλਖ਼ղͷϖΞΛ҉ه͢Δ͚ͩͷֶश r ֶࣗशͰ͖ͳ͍ • σʔλαΠΤϯςΟετ͕͍ͭۤ࿑ͯ͠νϡʔχϯάr ֶशϊϋΛ ٕ࣋ͬͨज़ऀ͕͍ͭࢼߦࡨޡ ਖ਼ղ͕͍ͭͨσʔλΛେྔʹ༻ҙ͠ઐՈ͕ඞࢮʹ࠷దԽͤ͞Δ
50#& • ࠷খݶͷݱֶश r ݱσʔλͷࢀরنଇΛֶश͠ɺσʔλΛೖΕସ͑Δ ͚ͩͰ"*ʹؔ͢Δ͕ࣝͳͯ͘ڍಈվળ • ͍ͬͯͨݱσʔλΛ׆༻ r ݱͷࣝΛ༨͢͜ͱͳ͘׆༻Ͱ͖ΔΑ͏ ʹͳΔͨΊɺਓྗνϡʔχϯάʹཔΒͣͱߴ͍ਫ਼ ৽ͨͳڥʹߴɾखܰʹॱԠ͠ݱͰֶͿ ࣗతʹֶͿ͜ͱ ಛผͳ͕ࣝͳͯ͘ɺσʔλαΠΤϯςΟετʹཔΒͳͯ͘ɺ ͨͩσʔλΛೖΕଓ͚Δ͚ͩͰɺ͓٬༷ͷจʹԠֶͯ͡ͼಠΓཱͪʂ サービス⽴上げ毎に 正解データ整備等でリードタイム⼤ アプリケーションが変わる毎に チューニングでリードタイム⼤ 眠っていたダークデータ ⾮整備の現場⼤量データの有効活⽤ データを⼊れ替えるだけで お客様環境に短時間に適応! データとロジックの分離 データを参照して結論を導き出す 現場⾮依存ロジックを事前学習 -
%9 %BSLEBUBMFWFSBHF • ఆܕɾඇఆܕจॻͷղੳ • γʔϯঢ়ଶͷཧղ • ݱେྔඇඋσʔλ͔Βϝλߏղੳ • ݱେྔඇඋσʔλ͔Βγʔϯߏղੳ
• σʔλࢀরϩδοΫͷֶशʹΑΔθϩݱֶश "HJMFJNQSPWFNFOU େͳจॻɾσʔλͷσδλϧԽ ը૾ղੳʹΑΔࣗαʔϏεͷ࣮ݱ େྔͷඇඋσʔλΛ׆༻ͨ͠ ݱదԠɾΧελϚΠζ ٕज़ऀͷखΛհͣ͞ɺ ૉૣࣗ͘తʹվળ • ϢʔβͷཁΛ࠷దʹॲཧ • ݱσʔλΛೖΕସ͑Δ͚ͩͰվળ • มԽʹԠ͡σʔλΛΈସ͑Δ͚ͩͰมԽରԠ ʰ-JGFPO-*/&ʱ ͕ͨΒ͢ "*ϥΠϑελΠϧ zzz… -
5BLFBXBZNFTTBHFT ʰ-JGFPO-*/&ʱ Λ࣮ݱ͢Δ -*/&ͳΒͰͷ"* ਓத৺ͰਐԽΛଓ͚Δ "* • ଟ༷ͳλεΫϞδϡʔϧͱϢʔβೖྗ࠷దॲཧͰ؆୯ΧελϚΠζ • ݱνϡʔχϯά͍ΒͣͰݱͷΕΔσʔλΛ׆༻
• ϚϧνΫϩεϞʔμϧɺ֊తͳࣝ׆༻ͰਓΛ͑Δݡ͞ɾਫ਼Λ࣮ݱ