Persian Language Processing with Hazm

Transcript

1. «ﻢﻀﻫ» ﺎﺑ ﯽﺳرﺎﻓ نﺎﺑز شزادﺮﭘ نﺎﯾرﻮﻧ ﺎﺿﺮﯿﻠﻋ
2. ﺎﻫرﺎﮐ ﻦﯾا ﻪﻤﻫ یاﺮﺑ ﺪﻨﻤﺷﻮﻫ یﻮﺠﺘﺴﺟ ﻦﺘﻣ ﻪﻤﺟﺮﺗ ﻪﻣﺎﻧزﺮﻫ ﺺﯿﺨﺸﺗ ﺎﻫ هژاوﺪﯿﻠﮐ ندﺮﮐ اﺪﯿﭘ تﺎﻋﻼﻃا جاﺮﺨﺘﺳا ﻦﺘﻣ یزﺎﺳ ﻪﺻﻼﺧ ﻪﺘﺷﻮﻧ یاﺮﺑ ﺐﺴﭼﺮﺑ بﺎﺨﺘﻧا ﻪﺑﺎﺸﻣ یﺎﻫ ﻦﺘﻣ ندﺮﮐ اﺪﯿﭘ ...
3. ﻦﺘﻣ ندﺮﮐ ﺰﯿﻤﺗ > > > f r o m h a z m i m p o r t N o r m a l i z e r > > > n o r m a l i z e r = N o r m a l i z e r ( ) > > > n o r m a l i z e r . n o r m a l i z e ( 'ﺪﻨﮐ ﻲﻣ نﺎﺳآ ار شزادﺮﭘ ﻪﻠﺻﺎﻓ ﻢﯿﻧ زا هدﺎﻔﺘﺳا و ﺎﻫ ﻪﺴﯾﻮﻧ حﻼﺻا' ) 'ﺪﻨﮐ ﯽﻣ نﺎﺳآ ار شزادﺮﭘ ﻪﻠﺻﺎﻓ ﻢﯿﻧ زا هدﺎﻔﺘﺳا و ﺎﻫ ﻪﺴﯾﻮﻧ حﻼﺻا' > > > n o r m a l i z e r . n o r m a l i z e ( 'ﺪﻨﮐ ﯽﻣ حﻼﺻا ار ﺎﻫ ﺪﻧﻮﺴﭘ و ﺎﻫ ﺪﻧﻮﺸﯿﭘ نﺎﯿﻣ ﻪﻠﺻﺎﻓ.' ) 'ﺪﻨﮐ ﯽﻣ حﻼﺻا ار ﺎﻫ ﺪﻧﻮﺴﭘ و ﺎﻫ ﺪﻧﻮﺸﯿﭘ نﺎﯿﻣ ﻪﻠﺻﺎﻓ.' > > > n o r m a l i z e r . n o r m a l i z e ( 'ﻦﺘﻣ رد ( ﺎﻫﺰﺘﻧاﺮﭘ ) حﻼﺻا .' ) 'ﻦﺘﻣ رد (ﺎﻫﺰﺘﻧاﺮﭘ) حﻼﺻا.'
4. ﺎﻫ هژاو ندﺮﮐ اﺪﺟ > > > f r o m h a z m i m p o r t s e n t _ t o k e n i z e , w o r d _ t o k e n i z e > > > s e n t _ t o k e n i z e ( '؟ﺖﺴﯿﻧ ﺮﺘﻬﺑ اﺪﺟ ،شزادﺮﭘ یاﺮﺑ ﯽﻟو !ﻢﯾﺪﻣآ ندﺮﮐ ﻞﺻو یاﺮﺑ ﻢﻫ ﺎﻣ' ) [ '؟ﺖﺴﯿﻧ ﺮﺘﻬﺑ اﺪﺟ ،شزادﺮﭘ یاﺮﺑ ﯽﻟو' , '!ﻢﯾﺪﻣآ ندﺮﮐ ﻞﺻو یاﺮﺑ ﻢﻫ ﺎﻣ' ] > > > w o r d _ t o k e n i z e ( '؟ﺖﺴﯿﻧ ﺮﺘﻬﺑ اﺪﺟ ،شزادﺮﭘ یاﺮﺑ ﯽﻟو' ) [ '؟' , 'ﺖﺴﯿﻧ' , 'ﺮﺘﻬﺑ' , 'اﺪﺟ' , '،' , 'شزادﺮﭘ' , 'یاﺮﺑ' , 'ﯽﻟو' ]
5. ﺎﻫ هژاو ﯽﺑﺎﯾ ﻪﺸﯾر > > > f r o m h a z m i m p o r t S t e m m e r , L e m m a t i z e r > > > s t e m m e r , l e m m a t i z e r = S t e m m e r ( ) , L e m m a t i z e r ( ) > > > s t e m m e r . s t e m ( 'ﺎﻫ بﺎﺘﮐ' ) 'بﺎﺘﮐ' > > > l e m m a t i z e r . l e m m a t i z e ( 'مور ﯽﻣ' ) 'ور#ﺖﻓر' > > > l e m m a t i z e r . l e m m a t i z e ( 'مدﺮﻣ' ) 'مدﺮﻣ' > > > l e m m a t i z e r . l e m m a t i z e ( 'مدﺮﻣ' , p o s = 'V' ) 'ﺮﯿﻣ#دﺮﻣ'
6. ﯽﻓﺮﺻ ﻞﯿﻠﺤﺗ ٪۹۷٫۱ ﺖﻗد > > > f r o m h a z m i m p o r t P O S T a g g e r > > > t a g g e r = P O S T a g g e r ( m o d e l = 'resources/postagger.model' ) > > > t a g g e r . t a g ( w o r d _ t o k e n i z e ( 'ﻢﯿﻧاﻮﺧ ﯽﻣ بﺎﺘﮐ رﺎﯿﺴﺑ ﺎﻣ' ) ) [ ( 'ﺎﻣ' , 'PRO' ) , ( 'رﺎﯿﺴﺑ' , 'ADV' ) , ( 'بﺎﺘﮐ' , 'N' ) , ( 'ﻢﯿﻧاﻮﺧ ﯽﻣ' , 'V' ) ]
7. ﯽﺤﻄﺳ ﻪﯾﺰﺠﺗ ٪۸۹٫۹ ﺖﻗد > > > f r o m h a z m i m p o r t C h u n k e r , t r e e 2 b r a c k e t s > > > c h u n k e r = C h u n k e r ( m o d e l = 'resources/chunker.model' ) > > > t a g g e d = t a g g e r . t a g ( w o r d _ t o k e n i z e ( 'ﻢﯾراد ﺖﺳود ار نﺪﻧاﻮﺧ بﺎﺘﮐ' ) ) > > > t r e e 2 b r a c k e t s ( c h u n k e r . p a r s e ( t a g g e d ) ) '[نﺪﻧاﻮﺧ بﺎﺘﮐ NP] [ار POSTP] [ﻢﯾراد ﺖﺳود VP]'
8. یﻮﺤﻧ ﻪﯾﺰﺠﺗ ﻪﺸﯾر ﺎﻫ ﮓﻧز یاﺮﺑ ﻪﮐ ﻪﺑ اﺪﺻ ﺪﯾآ ﯽﻣرد ؟ ﻞﻋﺎﻓ ﺪﯿﻗ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو یا ﻪﻓﺎﺿا فﺮﺣ لﻮﻌﻔﻣ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو ﻪﻠﻤﺟ ﻪﺸﯾر ﯽﺷرﺎﮕﻧ ﻢﺋﻼﻋ ٪۸۵٫۲ ﺖﻗد > > > f r o m h a z m i m p o r t D e p e n d e n c y P a r s e r > > > p a r s e r = D e p e n d e n c y P a r s e r ( t a g g e r = t a g g e r , l e m m a t i z e r = l e m m a t i z e r ) > > > p a r s e r . p a r s e ( w o r d _ t o k e n i z e ( '؟ﺪﯾآ ﯽﻣرد اﺪﺻ ﻪﺑ ﻪﮐ یاﺮﺑ ﺎﻫ ﮓﻧز' ) )
9. ﯽﺳرﺎﻓ نﺎﺑز یﺎﻫ هداد
10. ﯽﺳرﺎﻓ یﺎﻫ هژاو هژاو ۳۷۰۰۰ > > > f r o m h a z m i m p o r t L e m m a t i z e r > > > L e m m a t i z e r ( ) . w o r d s { . . . 'دﺎﺸﻤﺷ' , 'ﮏﺸﻤﺷ' , 'ﺮﯿﺸﻤﺷ' , 'زﺎﺑﺮﯿﺸﻤﺷ' , 'یزﺎﺑﺮﯿﺸﻤﺷ' , 'نزﺮﯿﺸﻤﺷ' , . . . }
11. ﯽﻓﺮﺻ هداد هژاو ۱۰۰۰۰۰۰۰ > > > f r o m h a z m i m p o r t P e y k a r e R e a d e r > > > p e y k a r e = P e y k a r e R e a d e r ( r o o t = 'corpora/peykare' ) > > > n e x t ( p e y k a r e . s e n t s ( ) ) [ ( 'ﯽﻧﺎﻣزﺮﯾد' , 'N' ) , ( 'زا' , 'P' ) , ( 'یزاﺪﻧا هار' , 'Ne' ) , ( 'ی ﻪﮑﺒﺷ' , 'Ne' ) , ( 'ﺮﺒﺧ' , 'Ne' ) , ( 'هﺮﯾﺰﺠﻟا' , 'N' ) , ( 'درﺬﮔ ﯽﻤﻧ' , 'V' ) , . . . ]
12. ﯽﮕﺘﺴﺑاو ﻪﯾﺰﺠﺗ یﺎﻫ ﺖﺧرد ﻪﺸﯾر ناﺮﻣﺎﮐ رد نﺎﯿﺑ ﺮﺒﺧ یﺎﻄﻋا ماو ۱۰۰ ﯽﻧﻮﯿﻠﯿﻣ ﻪﺑ نﺎﮔﺪﻨﯾﺎﻤﻧ ﯽﮕﺘﺨﭘﺎﻧ دﺮﮐ . ﻞﻋﺎﻓ ﻢﺳا ﻪﻓﺎﺿا فﺮﺣ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو ﻪﯿﻟا ٌ فﺎﻀﻣ ﻪﯿﻟا ٌ فﺎﻀﻣ ﻪﯿﻟا ٌ فﺎﻀﻣ ﻦﯿﺸﯿﭘ ﻪﺘﺴﺑاو ﻢﺳا ﻦﯿﺴﭘ ﺖﻔﺻ ﻢﺳا ﻪﻓﺎﺿا فﺮﺣ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو رﺎﯾ ﻞﻌﻓ ﻪﻠﻤﺟ ﻪﺸﯾر ﯽﺷرﺎﮕﻧ ﻢﺋﻼﻋ ﻪﻠﻤﺟ ۳۰۰۰۰ > > > f r o m h a z m i m p o r t D a d e g a n R e a d e r > > > d a d e g a n = D a d e g a n R e a d e r ( c o n l l _ f i l e = 'corpora/dadegan.conll' ) > > > n e x t ( d a d e g a n . t r e e s ( ) )
13. هژاو یﺎﻫ ﻪﺟو - ﺖﻧ سرﺎﻓ ﻞﺧﺪﻣ ۳۰۰۰۰ + ﺮﯿﺳ ﺎﺷﺎﻤﺗ و شدﺮﮔ + ﺮﭘ ﻢﮑﺷ ،ﺮﯿﺳ یﺮﯿﺳ ﺖﻟﺎﺣ یاراد + ﺮﯿﺳ ﺪﻧا ﻪﺘﻓﺮﮔ راﺮﻗ ﯽﺗرﻮﺻ ﺎﯾ ﺪﯿﻔﺳ ﯽﺸﺷﻮﭘ رد ﯽﮕﻤﻫ ﻪﮐ ﯽﺘﻤﺴﻗ ﺪﻨﭼ و مرﻮﺘﻣ ﯽﻫﺎﯿﮔ ی ﻪﻨﺑ دراد ﯽﯾوراد و ﯽﮐارﻮﺧ فﺮﺼﻣ و ﺪﻨﺗ یﻮﺑ و + ﺮﯿﺘﺳ , ﺮﯿﺳ مﺮﮔ ۷۵ لدﺎﻌﻣ نزو یﺮﯿﮔ هزاﺪﻧا ﺪﺣاو
14. هژاو یﺎﻫ ﻪﻄﺑار - ﺖﻧ سرﺎﻓ + یزﺎﯿﭘ هﺎﯿﮔ ( H y p e r n y m ) دﻮﺷ ﯽﻣ زﺎﻏآ زﺎﯿﭘ مﺎﻧ ﻪﺑ ﯽﻨﯿﻣز ﺮﯾز یا ﻪﻗﺎﺳ زا ﺎﻬﻧآ ﺪﺷر ﻪﮐ ﯽﻧﺎﻫﺎﯿﮔ + ﯽﻨﺷﺎﭼ ،هﺪﻨﻫد ﻢﻌﻃ ( r e l a t e d - t o ) ﺪﻨﯾاﺰﻓا ﯽﻣ نآ ﻪﺑ ﺪﻫد ﯽﻣ اﺬﻏ ﻪﺑ ﻪﮐ ﯽﻤﻌﻃ و هﺰﻣ , ﻮﺑ ﺮﻃﺎﺧ ﻪﺑ ﻪﮐ ار ﻪﭽﻧآ + ﯽﯾوراد ( r e l a t e d - t o ) وراد ﻪﺑ طﻮﺑﺮﻣ + یﺬﻐﻣ هدﺎﻣ ،ﯽﻧدرﻮﺧ ،ﯽﮐارﻮﺧ ،کارﻮﺧ ( r e l a t e d - t o ) نﺪﺑ هﺪﻨﻨﮐ ﻪﯾﺬﻐﺗ داﻮﻣ زا ﯽﻌﺒﻨﻣ + g a r l i c , A l l i u m _ s a t i v u m ( W o r d N e t ) b u l b o u s h e r b o f s o u t h e r n E u r o p e w i d e l y n a t u r a l i z e d
15. یزاﻮﻣ یﺎﻫ ﻪﻠﻤﺟ ﻪﻠﻤﺟ ۱۰۰۰۰۰۰ 'ﺪﻧﺪﺷ دﻮﻘﻔﻣ ،ﺎﻫ ﺖﺷاددﺎﯾ زا ﯽﻀﻌﺑ و ﻪﯿﻟوا ﻪﺘﺷﻮﻧ ﻦﯾا ،۱۹۱۹ لﺎﺳ ﺰﯿﺋﺎﭘ رد اﺪﻌﺑ' 'Afterwards, in the autumn of 1919, this first draft and some of the notes were lost'
16. مواﺪﻣ ﺖﺴﺗ build build passing passing $ p y t h o n t e s t s . p y D o c t e s t : h a z m . L e m m a t i z e r . L e m m a t i z e r . . . o k D o c t e s t : h a z m . L e m m a t i z e r . L e m m a t i z e r . c o n j u g a t i o n s . . . o k D o c t e s t : h a z m . D e p e n d e n c y P a r s e r . D e p e n d e n c y P a r s e r . . . o k D o c t e s t : h a z m . P e y k a r e R e a d e r . P e y k a r e R e a d e r . . . o k D o c t e s t : h a z m . N o r m a l i z e r . N o r m a l i z e r . c h a r a c t e r _ r e f i n e m e n t . . . o k . . . D o c t e s t : h a z m . S t e m m e r . S t e m m e r . . . o k D o c t e s t : h a z m . T r e e b a n k R e a d e r . T r e e b a n k R e a d e r . . . o k D o c t e s t : h a z m . T r e e b a n k R e a d e r . c o a r s e _ p o s _ e . . . o k D o c t e s t : h a z m . S e q u e n c e T a g g e r . I O B T a g g e r . . . o k D o c t e s t : h a z m . S e q u e n c e T a g g e r . S e q u e n c e T a g g e r . . . o k D o c t e s t : R E A D M E . m d . . . o k
17. ﻪﻣﺎﻧ هزﺎﺟا !ﺖﺴﯿﻧ ﺎﻣ لﺎﻣ ﺎﻫ هداد ﯽﻟو هدازآ یرﺎﺠﺗ هدﺎﻔﺘﺳا یاﺮﺑ ﺎﻫﺪﮐ ﺎﻫ هداد یور هﺪﯾد شزﻮﻣآ یﺎﻫ لﺪﻣ رﻮﻃ ﻦﯿﻤﻫ
18. هﺪﻨﯾآ رد اﺪﺧ ﺪﯿﻣا ﻪﺑ ﺪﯾﺪﺟ یﺎﻫ هداد زا ﯽﻧﺎﺒﯿﺘﺸﭘ ﺎﻫﺪﮐ یزﺎﺳﺪﻨﺘﺴﻣ یدﺮﺑرﺎﮐ یﺎﻫ لﺎﺜﻣ ﻪﯿﻬﺗ ﯽﺳﺎﻨﺷ ﺖﺨﯾر ﻞﯿﻠﺤﺗ ...
19. SOBHE.IR/HAZM ﺎﻔﻄﻟ ﺪﯿﻨﮐ ﮏﻤﮐ ﻪﻌﺳﻮﺗ رد nourian@sobhe.ir