Slide 1

Slide 1 text

«ﻢﻀﻫ» ﺎﺑ ﯽﺳرﺎﻓ نﺎﺑز شزادﺮﭘ نﺎﯾرﻮﻧ ﺎﺿﺮﯿﻠﻋ

Slide 2

Slide 2 text

ﺎﻫرﺎﮐ ﻦﯾا ﻪﻤﻫ یاﺮﺑ ﺪﻨﻤﺷﻮﻫ یﻮﺠﺘﺴﺟ ﻦﺘﻣ ﻪﻤﺟﺮﺗ ﻪﻣﺎﻧزﺮﻫ ﺺﯿﺨﺸﺗ ﺎﻫ هژاوﺪﯿﻠﮐ ندﺮﮐ اﺪﯿﭘ تﺎﻋﻼﻃا جاﺮﺨﺘﺳا ﻦﺘﻣ یزﺎﺳ ﻪﺻﻼﺧ ﻪﺘﺷﻮﻧ یاﺮﺑ ﺐﺴﭼﺮﺑ بﺎﺨﺘﻧا ﻪﺑﺎﺸﻣ یﺎﻫ ﻦﺘﻣ ندﺮﮐ اﺪﯿﭘ ...

Slide 3

Slide 3 text

ﻦﺘﻣ ندﺮﮐ ﺰﯿﻤﺗ > > > f r o m h a z m i m p o r t N o r m a l i z e r > > > n o r m a l i z e r = N o r m a l i z e r ( ) > > > n o r m a l i z e r . n o r m a l i z e ( 'ﺪﻨﮐ ﻲﻣ نﺎﺳآ ار شزادﺮﭘ ﻪﻠﺻﺎﻓ ﻢﯿﻧ زا هدﺎﻔﺘﺳا و ﺎﻫ ﻪﺴﯾﻮﻧ حﻼﺻا' ) 'ﺪﻨﮐ ﯽﻣ نﺎﺳآ ار شزادﺮﭘ ﻪﻠﺻﺎﻓ ﻢﯿﻧ زا هدﺎﻔﺘﺳا و ﺎﻫ ﻪﺴﯾﻮﻧ حﻼﺻا' > > > n o r m a l i z e r . n o r m a l i z e ( 'ﺪﻨﮐ ﯽﻣ حﻼﺻا ار ﺎﻫ ﺪﻧﻮﺴﭘ و ﺎﻫ ﺪﻧﻮﺸﯿﭘ نﺎﯿﻣ ﻪﻠﺻﺎﻓ.' ) 'ﺪﻨﮐ ﯽﻣ حﻼﺻا ار ﺎﻫ ﺪﻧﻮﺴﭘ و ﺎﻫ ﺪﻧﻮﺸﯿﭘ نﺎﯿﻣ ﻪﻠﺻﺎﻓ.' > > > n o r m a l i z e r . n o r m a l i z e ( 'ﻦﺘﻣ رد ( ﺎﻫﺰﺘﻧاﺮﭘ ) حﻼﺻا .' ) 'ﻦﺘﻣ رد (ﺎﻫﺰﺘﻧاﺮﭘ) حﻼﺻا.'

Slide 4

Slide 4 text

ﺎﻫ هژاو ندﺮﮐ اﺪﺟ > > > f r o m h a z m i m p o r t s e n t _ t o k e n i z e , w o r d _ t o k e n i z e > > > s e n t _ t o k e n i z e ( '؟ﺖﺴﯿﻧ ﺮﺘﻬﺑ اﺪﺟ ،شزادﺮﭘ یاﺮﺑ ﯽﻟو !ﻢﯾﺪﻣآ ندﺮﮐ ﻞﺻو یاﺮﺑ ﻢﻫ ﺎﻣ' ) [ '؟ﺖﺴﯿﻧ ﺮﺘﻬﺑ اﺪﺟ ،شزادﺮﭘ یاﺮﺑ ﯽﻟو' , '!ﻢﯾﺪﻣآ ندﺮﮐ ﻞﺻو یاﺮﺑ ﻢﻫ ﺎﻣ' ] > > > w o r d _ t o k e n i z e ( '؟ﺖﺴﯿﻧ ﺮﺘﻬﺑ اﺪﺟ ،شزادﺮﭘ یاﺮﺑ ﯽﻟو' ) [ '؟' , 'ﺖﺴﯿﻧ' , 'ﺮﺘﻬﺑ' , 'اﺪﺟ' , '،' , 'شزادﺮﭘ' , 'یاﺮﺑ' , 'ﯽﻟو' ]

Slide 5

Slide 5 text

ﺎﻫ هژاو ﯽﺑﺎﯾ ﻪﺸﯾر > > > f r o m h a z m i m p o r t S t e m m e r , L e m m a t i z e r > > > s t e m m e r , l e m m a t i z e r = S t e m m e r ( ) , L e m m a t i z e r ( ) > > > s t e m m e r . s t e m ( 'ﺎﻫ بﺎﺘﮐ' ) 'بﺎﺘﮐ' > > > l e m m a t i z e r . l e m m a t i z e ( 'مور ﯽﻣ' ) 'ور#ﺖﻓر' > > > l e m m a t i z e r . l e m m a t i z e ( 'مدﺮﻣ' ) 'مدﺮﻣ' > > > l e m m a t i z e r . l e m m a t i z e ( 'مدﺮﻣ' , p o s = 'V' ) 'ﺮﯿﻣ#دﺮﻣ'

Slide 6

Slide 6 text

ﯽﻓﺮﺻ ﻞﯿﻠﺤﺗ ٪۹۷٫۱ ﺖﻗد > > > f r o m h a z m i m p o r t P O S T a g g e r > > > t a g g e r = P O S T a g g e r ( m o d e l = 'resources/postagger.model' ) > > > t a g g e r . t a g ( w o r d _ t o k e n i z e ( 'ﻢﯿﻧاﻮﺧ ﯽﻣ بﺎﺘﮐ رﺎﯿﺴﺑ ﺎﻣ' ) ) [ ( 'ﺎﻣ' , 'PRO' ) , ( 'رﺎﯿﺴﺑ' , 'ADV' ) , ( 'بﺎﺘﮐ' , 'N' ) , ( 'ﻢﯿﻧاﻮﺧ ﯽﻣ' , 'V' ) ]

Slide 7

Slide 7 text

ﯽﺤﻄﺳ ﻪﯾﺰﺠﺗ ٪۸۹٫۹ ﺖﻗد > > > f r o m h a z m i m p o r t C h u n k e r , t r e e 2 b r a c k e t s > > > c h u n k e r = C h u n k e r ( m o d e l = 'resources/chunker.model' ) > > > t a g g e d = t a g g e r . t a g ( w o r d _ t o k e n i z e ( 'ﻢﯾراد ﺖﺳود ار نﺪﻧاﻮﺧ بﺎﺘﮐ' ) ) > > > t r e e 2 b r a c k e t s ( c h u n k e r . p a r s e ( t a g g e d ) ) '[نﺪﻧاﻮﺧ بﺎﺘﮐ NP] [ار POSTP] [ﻢﯾراد ﺖﺳود VP]'

Slide 8

Slide 8 text

یﻮﺤﻧ ﻪﯾﺰﺠﺗ ﻪﺸﯾر ﺎﻫ ﮓﻧز یاﺮﺑ ﻪﮐ ﻪﺑ اﺪﺻ ﺪﯾآ ﯽﻣرد ؟ ﻞﻋﺎﻓ ﺪﯿﻗ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو یا ﻪﻓﺎﺿا فﺮﺣ لﻮﻌﻔﻣ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو ﻪﻠﻤﺟ ﻪﺸﯾر ﯽﺷرﺎﮕﻧ ﻢﺋﻼﻋ ٪۸۵٫۲ ﺖﻗد > > > f r o m h a z m i m p o r t D e p e n d e n c y P a r s e r > > > p a r s e r = D e p e n d e n c y P a r s e r ( t a g g e r = t a g g e r , l e m m a t i z e r = l e m m a t i z e r ) > > > p a r s e r . p a r s e ( w o r d _ t o k e n i z e ( '؟ﺪﯾآ ﯽﻣرد اﺪﺻ ﻪﺑ ﻪﮐ یاﺮﺑ ﺎﻫ ﮓﻧز' ) )

Slide 9

Slide 9 text

ﯽﺳرﺎﻓ نﺎﺑز یﺎﻫ هداد

Slide 10

Slide 10 text

ﯽﺳرﺎﻓ یﺎﻫ هژاو هژاو ۳۷۰۰۰ > > > f r o m h a z m i m p o r t L e m m a t i z e r > > > L e m m a t i z e r ( ) . w o r d s { . . . 'دﺎﺸﻤﺷ' , 'ﮏﺸﻤﺷ' , 'ﺮﯿﺸﻤﺷ' , 'زﺎﺑﺮﯿﺸﻤﺷ' , 'یزﺎﺑﺮﯿﺸﻤﺷ' , 'نزﺮﯿﺸﻤﺷ' , . . . }

Slide 11

Slide 11 text

ﯽﻓﺮﺻ هداد هژاو ۱۰۰۰۰۰۰۰ > > > f r o m h a z m i m p o r t P e y k a r e R e a d e r > > > p e y k a r e = P e y k a r e R e a d e r ( r o o t = 'corpora/peykare' ) > > > n e x t ( p e y k a r e . s e n t s ( ) ) [ ( 'ﯽﻧﺎﻣزﺮﯾد' , 'N' ) , ( 'زا' , 'P' ) , ( 'یزاﺪﻧا هار' , 'Ne' ) , ( 'ی ﻪﮑﺒﺷ' , 'Ne' ) , ( 'ﺮﺒﺧ' , 'Ne' ) , ( 'هﺮﯾﺰﺠﻟا' , 'N' ) , ( 'درﺬﮔ ﯽﻤﻧ' , 'V' ) , . . . ]

Slide 12

Slide 12 text

ﯽﮕﺘﺴﺑاو ﻪﯾﺰﺠﺗ یﺎﻫ ﺖﺧرد ﻪﺸﯾر ناﺮﻣﺎﮐ رد نﺎﯿﺑ ﺮﺒﺧ یﺎﻄﻋا ماو ۱۰۰ ﯽﻧﻮﯿﻠﯿﻣ ﻪﺑ نﺎﮔﺪﻨﯾﺎﻤﻧ ﯽﮕﺘﺨﭘﺎﻧ دﺮﮐ . ﻞﻋﺎﻓ ﻢﺳا ﻪﻓﺎﺿا فﺮﺣ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو ﻪﯿﻟا ٌ فﺎﻀﻣ ﻪﯿﻟا ٌ فﺎﻀﻣ ﻪﯿﻟا ٌ فﺎﻀﻣ ﻦﯿﺸﯿﭘ ﻪﺘﺴﺑاو ﻢﺳا ﻦﯿﺴﭘ ﺖﻔﺻ ﻢﺳا ﻪﻓﺎﺿا فﺮﺣ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو رﺎﯾ ﻞﻌﻓ ﻪﻠﻤﺟ ﻪﺸﯾر ﯽﺷرﺎﮕﻧ ﻢﺋﻼﻋ ﻪﻠﻤﺟ ۳۰۰۰۰ > > > f r o m h a z m i m p o r t D a d e g a n R e a d e r > > > d a d e g a n = D a d e g a n R e a d e r ( c o n l l _ f i l e = 'corpora/dadegan.conll' ) > > > n e x t ( d a d e g a n . t r e e s ( ) )

Slide 13

Slide 13 text

هژاو یﺎﻫ ﻪﺟو - ﺖﻧ سرﺎﻓ ﻞﺧﺪﻣ ۳۰۰۰۰ + ﺮﯿﺳ ﺎﺷﺎﻤﺗ و شدﺮﮔ + ﺮﭘ ﻢﮑﺷ ،ﺮﯿﺳ یﺮﯿﺳ ﺖﻟﺎﺣ یاراد + ﺮﯿﺳ ﺪﻧا ﻪﺘﻓﺮﮔ راﺮﻗ ﯽﺗرﻮﺻ ﺎﯾ ﺪﯿﻔﺳ ﯽﺸﺷﻮﭘ رد ﯽﮕﻤﻫ ﻪﮐ ﯽﺘﻤﺴﻗ ﺪﻨﭼ و مرﻮﺘﻣ ﯽﻫﺎﯿﮔ ی ﻪﻨﺑ دراد ﯽﯾوراد و ﯽﮐارﻮﺧ فﺮﺼﻣ و ﺪﻨﺗ یﻮﺑ و + ﺮﯿﺘﺳ , ﺮﯿﺳ مﺮﮔ ۷۵ لدﺎﻌﻣ نزو یﺮﯿﮔ هزاﺪﻧا ﺪﺣاو

Slide 14

Slide 14 text

هژاو یﺎﻫ ﻪﻄﺑار - ﺖﻧ سرﺎﻓ + یزﺎﯿﭘ هﺎﯿﮔ ( H y p e r n y m ) دﻮﺷ ﯽﻣ زﺎﻏآ زﺎﯿﭘ مﺎﻧ ﻪﺑ ﯽﻨﯿﻣز ﺮﯾز یا ﻪﻗﺎﺳ زا ﺎﻬﻧآ ﺪﺷر ﻪﮐ ﯽﻧﺎﻫﺎﯿﮔ + ﯽﻨﺷﺎﭼ ،هﺪﻨﻫد ﻢﻌﻃ ( r e l a t e d - t o ) ﺪﻨﯾاﺰﻓا ﯽﻣ نآ ﻪﺑ ﺪﻫد ﯽﻣ اﺬﻏ ﻪﺑ ﻪﮐ ﯽﻤﻌﻃ و هﺰﻣ , ﻮﺑ ﺮﻃﺎﺧ ﻪﺑ ﻪﮐ ار ﻪﭽﻧآ + ﯽﯾوراد ( r e l a t e d - t o ) وراد ﻪﺑ طﻮﺑﺮﻣ + یﺬﻐﻣ هدﺎﻣ ،ﯽﻧدرﻮﺧ ،ﯽﮐارﻮﺧ ،کارﻮﺧ ( r e l a t e d - t o ) نﺪﺑ هﺪﻨﻨﮐ ﻪﯾﺬﻐﺗ داﻮﻣ زا ﯽﻌﺒﻨﻣ + g a r l i c , A l l i u m _ s a t i v u m ( W o r d N e t ) b u l b o u s h e r b o f s o u t h e r n E u r o p e w i d e l y n a t u r a l i z e d

Slide 15

Slide 15 text

یزاﻮﻣ یﺎﻫ ﻪﻠﻤﺟ ﻪﻠﻤﺟ ۱۰۰۰۰۰۰ 'ﺪﻧﺪﺷ دﻮﻘﻔﻣ ،ﺎﻫ ﺖﺷاددﺎﯾ زا ﯽﻀﻌﺑ و ﻪﯿﻟوا ﻪﺘﺷﻮﻧ ﻦﯾا ،۱۹۱۹ لﺎﺳ ﺰﯿﺋﺎﭘ رد اﺪﻌﺑ' 'Afterwards, in the autumn of 1919, this first draft and some of the notes were lost'

Slide 16

Slide 16 text

مواﺪﻣ ﺖﺴﺗ build build passing passing $ p y t h o n t e s t s . p y D o c t e s t : h a z m . L e m m a t i z e r . L e m m a t i z e r . . . o k D o c t e s t : h a z m . L e m m a t i z e r . L e m m a t i z e r . c o n j u g a t i o n s . . . o k D o c t e s t : h a z m . D e p e n d e n c y P a r s e r . D e p e n d e n c y P a r s e r . . . o k D o c t e s t : h a z m . P e y k a r e R e a d e r . P e y k a r e R e a d e r . . . o k D o c t e s t : h a z m . N o r m a l i z e r . N o r m a l i z e r . c h a r a c t e r _ r e f i n e m e n t . . . o k . . . D o c t e s t : h a z m . S t e m m e r . S t e m m e r . . . o k D o c t e s t : h a z m . T r e e b a n k R e a d e r . T r e e b a n k R e a d e r . . . o k D o c t e s t : h a z m . T r e e b a n k R e a d e r . c o a r s e _ p o s _ e . . . o k D o c t e s t : h a z m . S e q u e n c e T a g g e r . I O B T a g g e r . . . o k D o c t e s t : h a z m . S e q u e n c e T a g g e r . S e q u e n c e T a g g e r . . . o k D o c t e s t : R E A D M E . m d . . . o k

Slide 17

Slide 17 text

ﻪﻣﺎﻧ هزﺎﺟا !ﺖﺴﯿﻧ ﺎﻣ لﺎﻣ ﺎﻫ هداد ﯽﻟو هدازآ یرﺎﺠﺗ هدﺎﻔﺘﺳا یاﺮﺑ ﺎﻫﺪﮐ ﺎﻫ هداد یور هﺪﯾد شزﻮﻣآ یﺎﻫ لﺪﻣ رﻮﻃ ﻦﯿﻤﻫ

Slide 18

Slide 18 text

هﺪﻨﯾآ رد اﺪﺧ ﺪﯿﻣا ﻪﺑ ﺪﯾﺪﺟ یﺎﻫ هداد زا ﯽﻧﺎﺒﯿﺘﺸﭘ ﺎﻫﺪﮐ یزﺎﺳﺪﻨﺘﺴﻣ یدﺮﺑرﺎﮐ یﺎﻫ لﺎﺜﻣ ﻪﯿﻬﺗ ﯽﺳﺎﻨﺷ ﺖﺨﯾر ﻞﯿﻠﺤﺗ ...

Slide 19

Slide 19 text

SOBHE.IR/HAZM ﺎﻔﻄﻟ ﺪﯿﻨﮐ ﮏﻤﮐ ﻪﻌﺳﻮﺗ رد [email protected]