Part-of-speech tagging

برچسب گذاری اجزاء سخن

Transcript

1. یناگژاو یازجا یراذگ بسچرب مالک یاهنابز شزادرپ یعیبط هدنهد هئارا : یچادوس مایپ 1
2. مالک یناگژاو یازجا یراذگ بسچرب  مالک‌یازجا‌یراذگ‌ بسچرب تاملک هب بسچرب باستنا لمع ، تسا هرکیپ کی ای نتم کی ۀدنهد لیکشت .  ق ،لعف ،مسا دننام ،نتم رد هملک نآ شقن ساسارب یراذگ بسچرب نیا ،دی دریگ یم تروص هریغ و ،تفص .  تسه ماهبا یاراد یناگژاو بسچرب رظن هطقن زا تاملک زا ییالاب دصرد دن نراد یتوافتم یناگژاو یاه بسچرب فلتخم یاههاگیاج رد تاملک اریز د .  هتشاد بسچرب کی زا شیب هملک کی رگا دراد ییادز ماهبا هب زاین ،دشاب . ‌هنیمز‌هب‌هجوت‌اب‌اه‌بسچرب‌زا‌ییادز‌ماهبا‌لمع‌یناگژاو‌یراذگ‌بسچرب‌نیاربانب ( تم ن ‌) ‌دروم تسا‌رظن . 2/18
3. لاثم  یا‌هسلجرد ، نادنمرنه‌زا هب‌لیلجت‌یقیسوم‌هتسجرب دمآ‌لمع .  رد ( هفاضا‌فرح ) ‌یا‌هسلج ( مسا _ درفم ) ، ( هدننک‌ادج ‌) ‌زا ( هفاضا‌فرح ‌ ‌) نادنمرنه ( مسا _ عمج ‌) ‌هتسجرب ( تفص ‌) ‌یقیسوم ( مسا _ درفم ‌) لیلجت ( مسا _ درفم ‌) ‌هب ( هفاضا‌فذح ‌) ‌لمع ( مسا _ درفم ‌) ‌دمآ ( لعف ‌) ‌. ( هدننک‌ادج ) 3/18
4. اه بسچرب زا یا هنومن  بسچرب هعومجم کی زا یضرف یا هنومن ریز رد ( Tagset ) تسا هدش یفرعم یسراف نابز یارب :  ‌یسراف‌نابز‌ینتم‌هرکیپ‌رد ( ناخ‌نجیب‌رتکد ‌) ‌دودح 660 ‌بسچرب تسا‌هتفر‌راک‌هب . دیق ADV تفص AJ طبر‌فرح CONJ فیرعت‌فرح DET توص‌فرح INT مسا N ددع NUM هفاضا‌فرح P ‌نیسپ‌هفاضا‌فرح ( ار ) POSTP ریمض PRO هدننک‌ادج PUNC هقرفتم RES لعف V 4/18
5. اهدربراک  ‌یوحن‌هیزجت ( parsing ‌:) ‌یارب parsing قم‌نییعت‌هب‌زاین‌ادتبا‌رد‌الاب‌هب‌نییاپ ‌هلو میراد‌تاملک‌یوحن .  راتفگ‌ظفلت ‌: حص‌ظفلت‌هوحن‌دروم‌رد‌یتاعالطا‌دناوت‌یم‌هملک‌کی‌یوحن‌هلوقم ‌کی‌حی دهدب‌ام‌هب‌هملک .  هملک ظفلت ” درم “ تروص هب یسراف رد ” درَم “ ( مسا ) ، ” درُم “ ( لعف )  تاعالطا‌یبایزاب ‌: ک‌مهم‌دانسا‌جارختسا‌هب‌دناوت‌یم‌تاملک‌یوحن‌هلوقم‌نتسناد ‌کم دنک .  ییانعم‌ماهبا‌عفر ‌: ک‌ییانعم‌ماهبا‌عفر‌هب‌دناوت‌یم‌تاملک‌یوحن‌هلوقم‌نتسناد ‌همل دنک‌کمک .  لاثم : هملک watch هملک و یسیلگنا رد ” رد “ یسراف رد 5/18
6. Supervised & Unsupervised POS tagging  POS tagging تروص هب ” تراظن اب “ ( Supervised )  بسچرب یاراد شزومآ هداد POS ماجنااه هداد نیا ساسارب شزومآ و دشاب یم دریگ یم .  POS tagging تروص هب ” تراظن نودب “ ( Unsupervised )  جنا یرارکت هیور کی ساسا رب شزومآ و دشاب یم بسچرب نودب شزومآ هداد ما دریگ یم . 6/18
7. اه شور  ‌یلک‌یاه‌شور POS tagging :  هدعاق رب ینتبم یاه شور ( rule based POS tagging )  یرس کی زا هدافتسا اب rule رواجم تاملک هب هجوت اب ار ماهبا یاراد تاملک یوحن هلوقم دنک یم نییعت .  Rule دنوش یم هتشون ناسانش نابز هلیسو هب اه .  یرامآ یاه شور ( probabilistic POS tagging )  هرکیپ کی زا هدافتسا اب لدم ،راد بسچرب هلابند tag یاه فلتخم تاملک هلابند یارب نکمم نیرت لمتحم نآ زا هدافتسا اب و دریگ یم دای ار tag دنک یم ادیپ ار هملک ره یارب .  تسین یتسد تروص هب دعاوق نتشون هب یجایتحا .  یبیکرت یاه شور 7/18
8. تالکشم  رد یلصا لکشم POS tagging : دنراد قلعت یوحن هلوقم دنچ هب تاملک زا یضعب .  دودح 11.5 % هرکیپ رد هتفر راک هب تاملک عاونا زا brown کی زا شیب یاراد tag دنتسه .  دودح تاملک نیا 40 % دنوش یم لماش ار هرکیپ . 8/18
9. یسراف نابز یراذگ بسچرب تالکشم دراد دوجو یسراف نابز یراذگ بسچرب رد یدایز تالکشم . نیا زا یخرب تسا ریز حرش هب تالکشم :  یراتشون تاماهبا  تاملک زرم  توافتم یانعم اب ناسکی یرهاظ یاه مرف  یبرع تاریثات  صاخ یماسا  ینابز یسراف Free Word Order 9/18
10. یراتشون تاماهبا  « یدرم »  یدرَم ( درم کی )  یدرَم ( یتسه درم وت )  یدرَم ( یدرمناوج )  یدرُم ( ایند نوا یتفر ) !! 10/18
11. تاملک زرم  تسا یسراف نابز رد یدایز ماهبا لماع ،هلصاف .  عمج ژاوکت لاثم یارب " اه " وش رهاظ لکش دنچ هب دناوتیم یماسا رد د .  هملک رد لاثم ناونع هب " باتک " لکش هس " اهباتک " ( مهرس ) ، " تک اه با " ( هلصافاب ) ، " اه باتک " ( هلصاف مین اب ) دراد دوجو عمج تلاح یارب .  دراد دوجو لکشم نیا مه لاعفا دروم رد . " مور یم " ، " موریم " و " یم مور " ( هلصاف مین اب .) گ بسچرب رد راذگ ریثات یلماع زین دروم نیا یراذ تسا یسراف . 11/18
12. توافتم یانعم اب ناسکي یرهاظ یاه مرف  توافتم یانعم و ناسکی راتخاس اب تاملک  دز ار ناسحا ،رفعج .  دز راوید هب ار تعاس ،رفعج .  تسا یهورگ ششوک و شالت زا یدامن ام رانیمس .  رفعج ! ؟ششوک نم باتک 12/18
13. یبرع نابز تاریثات  هتسکش یاه عمج ( یسراف رد هدنزاس ریغ ینیناوق )  درفم : ریقف ، فرظ ، باتک  عمج : ارقف ، فورظ ، بتک 13/18
14. ینابز یسراف Free Word Order  تسا ینابز یسراف Verb Final ، ًالمع یلو Free Word Order  دید ار رفعج ناسحا .  ار رفعج دید ناسحا .  ناسحا دید ار رفعج .  دید ناسحا ار رفعج .  ار رفعج ناسحا دید .  ناسحا ار رفعج دید . 14/18
15. صاخ یماسا  ح اب ،صاخ یماسا یسراف نابز رد یسیلگنا نابز فالخ رب فور دنوش یمن عورش گرزب . 15/18
16. هدیچیپ یمسا ترابع  اب یماسا نیب طابترا یسیلگنا رد ’s ای of دوش یم رارقرب .  م هداد شیامن ،دوش یمن هتشون هک هفاضا دنوسپ اب ود ره یسراف رد ی دنوش .  لاثم :  ناسحا ردپ تسود باتک ( هرسَک دراوم بلاغ رد ( ــِــــ ) دوشیمن هدروآ )   ناسحا ِردپ ِتسود ِباتک   Book friend father Ehsan  Ehsan’s father’s friend’s book  16/18
17. ناخ نج یب ینتم هرکیپ  دهگن نارهت هاگشناد یسانش نابز هاگشیامزآ رد ،ناخ نج یب هرکیپ یرا دوش یم .  هدش یروآ عمج یلومعم نوتم و اه همانزور رابخا یخرب زا ،هرکیپ نیا تسا .  لماش هرکیپ نیا 2598215 و هژاو 660 دشاب یم بسچرب 17/18
18. یسراف ینتم هرکیپ یاه بسچرب  ف نابز ینتم یاه بسچرب ناخ نج یب هرکیپ یدنب میسقت قبط هب یسرا دنوش یم یدنب میسقت هتسد هس :  یوحن یاه بسچرب - یژاوتخاس : ،طبر فرح ،دیق ،تفص ،لعف ،مسا دننام ریامض و فیرعت فرح ،هفاضا فرح  صاخ یاه بسچرب : هریغ و ادن فرح ،هراو هلمج ،یشسرپ هملک دننام .  هقرفتم یاه بسچرب : یضایر تمالع و هدننکادج . 18/18
19. عجارم  S. Abney, “Part-of-Speech Tagging and Partial Parsing,” pp. 1–23, 1996.  H. Amiri, H. Hojjat, and F. Oroumchian, “Investigation on a Feasible Corpus for Persian POS Tagging,” 12th international CSI computer conference, Iran, 2007.  F. Raja, H. Amiri, S. Tasharofi, M. Sarmadi, and H. Hojjat, “Evaluation of Part of Speech Tagging on Persian Text,” 2004.  Bijankhan Corpus. Available at: http://ece.ut.ac.ir- /dbrg/bijankhan/.
20. یناگژاو یازجا یراذگ بسچرب مالک یعیبط یاهنابز شزادرپ داتسا رظن ريز : رتکد یاقآ بانج هداز مساق هدنهد هئارا : یچادوس مایپ
21. امش هجوت زا رکشت اب