h a z m i m p o r t N o r m a l i z e r > > > n o r m a l i z e r = N o r m a l i z e r ( ) > > > n o r m a l i z e r . n o r m a l i z e ( 'ﺪﻨﮐ ﻲﻣ نﺎﺳآ ار شزادﺮﭘ ﻪﻠﺻﺎﻓ ﻢﯿﻧ زا هدﺎﻔﺘﺳا و ﺎﻫ ﻪﺴﯾﻮﻧ حﻼﺻا' ) 'ﺪﻨﮐ ﯽﻣ نﺎﺳآ ار شزادﺮﭘ ﻪﻠﺻﺎﻓ ﻢﯿﻧ زا هدﺎﻔﺘﺳا و ﺎﻫ ﻪﺴﯾﻮﻧ حﻼﺻا' > > > n o r m a l i z e r . n o r m a l i z e ( 'ﺪﻨﮐ ﯽﻣ حﻼﺻا ار ﺎﻫ ﺪﻧﻮﺴﭘ و ﺎﻫ ﺪﻧﻮﺸﯿﭘ نﺎﯿﻣ ﻪﻠﺻﺎﻓ.' ) 'ﺪﻨﮐ ﯽﻣ حﻼﺻا ار ﺎﻫ ﺪﻧﻮﺴﭘ و ﺎﻫ ﺪﻧﻮﺸﯿﭘ نﺎﯿﻣ ﻪﻠﺻﺎﻓ.' > > > n o r m a l i z e r . n o r m a l i z e ( 'ﻦﺘﻣ رد ( ﺎﻫﺰﺘﻧاﺮﭘ ) حﻼﺻا .' ) 'ﻦﺘﻣ رد (ﺎﻫﺰﺘﻧاﺮﭘ) حﻼﺻا.'
m h a z m i m p o r t s e n t _ t o k e n i z e , w o r d _ t o k e n i z e > > > s e n t _ t o k e n i z e ( '؟ﺖﺴﯿﻧ ﺮﺘﻬﺑ اﺪﺟ ،شزادﺮﭘ یاﺮﺑ ﯽﻟو !ﻢﯾﺪﻣآ ندﺮﮐ ﻞﺻو یاﺮﺑ ﻢﻫ ﺎﻣ' ) [ '؟ﺖﺴﯿﻧ ﺮﺘﻬﺑ اﺪﺟ ،شزادﺮﭘ یاﺮﺑ ﯽﻟو' , '!ﻢﯾﺪﻣآ ندﺮﮐ ﻞﺻو یاﺮﺑ ﻢﻫ ﺎﻣ' ] > > > w o r d _ t o k e n i z e ( '؟ﺖﺴﯿﻧ ﺮﺘﻬﺑ اﺪﺟ ،شزادﺮﭘ یاﺮﺑ ﯽﻟو' ) [ '؟' , 'ﺖﺴﯿﻧ' , 'ﺮﺘﻬﺑ' , 'اﺪﺟ' , '،' , 'شزادﺮﭘ' , 'یاﺮﺑ' , 'ﯽﻟو' ]
m h a z m i m p o r t S t e m m e r , L e m m a t i z e r > > > s t e m m e r , l e m m a t i z e r = S t e m m e r ( ) , L e m m a t i z e r ( ) > > > s t e m m e r . s t e m ( 'ﺎﻫ بﺎﺘﮐ' ) 'بﺎﺘﮐ' > > > l e m m a t i z e r . l e m m a t i z e ( 'مور ﯽﻣ' ) 'ور#ﺖﻓر' > > > l e m m a t i z e r . l e m m a t i z e ( 'مدﺮﻣ' ) 'مدﺮﻣ' > > > l e m m a t i z e r . l e m m a t i z e ( 'مدﺮﻣ' , p o s = 'V' ) 'ﺮﯿﻣ#دﺮﻣ'
m h a z m i m p o r t P O S T a g g e r > > > t a g g e r = P O S T a g g e r ( m o d e l = 'resources/postagger.model' ) > > > t a g g e r . t a g ( w o r d _ t o k e n i z e ( 'ﻢﯿﻧاﻮﺧ ﯽﻣ بﺎﺘﮐ رﺎﯿﺴﺑ ﺎﻣ' ) ) [ ( 'ﺎﻣ' , 'PRO' ) , ( 'رﺎﯿﺴﺑ' , 'ADV' ) , ( 'بﺎﺘﮐ' , 'N' ) , ( 'ﻢﯿﻧاﻮﺧ ﯽﻣ' , 'V' ) ]
m h a z m i m p o r t C h u n k e r , t r e e 2 b r a c k e t s > > > c h u n k e r = C h u n k e r ( m o d e l = 'resources/chunker.model' ) > > > t a g g e d = t a g g e r . t a g ( w o r d _ t o k e n i z e ( 'ﻢﯾراد ﺖﺳود ار نﺪﻧاﻮﺧ بﺎﺘﮐ' ) ) > > > t r e e 2 b r a c k e t s ( c h u n k e r . p a r s e ( t a g g e d ) ) '[نﺪﻧاﻮﺧ بﺎﺘﮐ NP] [ار POSTP] [ﻢﯾراد ﺖﺳود VP]'
ﯽﻣرد ؟ ﻞﻋﺎﻓ ﺪﯿﻗ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو یا ﻪﻓﺎﺿا فﺮﺣ لﻮﻌﻔﻣ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو ﻪﻠﻤﺟ ﻪﺸﯾر ﯽﺷرﺎﮕﻧ ﻢﺋﻼﻋ ٪۸۵٫۲ ﺖﻗد > > > f r o m h a z m i m p o r t D e p e n d e n c y P a r s e r > > > p a r s e r = D e p e n d e n c y P a r s e r ( t a g g e r = t a g g e r , l e m m a t i z e r = l e m m a t i z e r ) > > > p a r s e r . p a r s e ( w o r d _ t o k e n i z e ( '؟ﺪﯾآ ﯽﻣرد اﺪﺻ ﻪﺑ ﻪﮐ یاﺮﺑ ﺎﻫ ﮓﻧز' ) )
o m h a z m i m p o r t L e m m a t i z e r > > > L e m m a t i z e r ( ) . w o r d s { . . . 'دﺎﺸﻤﺷ' , 'ﮏﺸﻤﺷ' , 'ﺮﯿﺸﻤﺷ' , 'زﺎﺑﺮﯿﺸﻤﺷ' , 'یزﺎﺑﺮﯿﺸﻤﺷ' , 'نزﺮﯿﺸﻤﺷ' , . . . }
m h a z m i m p o r t P e y k a r e R e a d e r > > > p e y k a r e = P e y k a r e R e a d e r ( r o o t = 'corpora/peykare' ) > > > n e x t ( p e y k a r e . s e n t s ( ) ) [ ( 'ﯽﻧﺎﻣزﺮﯾد' , 'N' ) , ( 'زا' , 'P' ) , ( 'یزاﺪﻧا هار' , 'Ne' ) , ( 'ی ﻪﮑﺒﺷ' , 'Ne' ) , ( 'ﺮﺒﺧ' , 'Ne' ) , ( 'هﺮﯾﺰﺠﻟا' , 'N' ) , ( 'درﺬﮔ ﯽﻤﻧ' , 'V' ) , . . . ]
ماو ۱۰۰ ﯽﻧﻮﯿﻠﯿﻣ ﻪﺑ نﺎﮔﺪﻨﯾﺎﻤﻧ ﯽﮕﺘﺨﭘﺎﻧ دﺮﮐ . ﻞﻋﺎﻓ ﻢﺳا ﻪﻓﺎﺿا فﺮﺣ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو ﻪﯿﻟا ٌ فﺎﻀﻣ ﻪﯿﻟا ٌ فﺎﻀﻣ ﻪﯿﻟا ٌ فﺎﻀﻣ ﻦﯿﺸﯿﭘ ﻪﺘﺴﺑاو ﻢﺳا ﻦﯿﺴﭘ ﺖﻔﺻ ﻢﺳا ﻪﻓﺎﺿا فﺮﺣ ﻦﯿﺴﭘ ﻪﺘﺴﺑاو رﺎﯾ ﻞﻌﻓ ﻪﻠﻤﺟ ﻪﺸﯾر ﯽﺷرﺎﮕﻧ ﻢﺋﻼﻋ ﻪﻠﻤﺟ ۳۰۰۰۰ > > > f r o m h a z m i m p o r t D a d e g a n R e a d e r > > > d a d e g a n = D a d e g a n R e a d e r ( c o n l l _ f i l e = 'corpora/dadegan.conll' ) > > > n e x t ( d a d e g a n . t r e e s ( ) )
H y p e r n y m ) دﻮﺷ ﯽﻣ زﺎﻏآ زﺎﯿﭘ مﺎﻧ ﻪﺑ ﯽﻨﯿﻣز ﺮﯾز یا ﻪﻗﺎﺳ زا ﺎﻬﻧآ ﺪﺷر ﻪﮐ ﯽﻧﺎﻫﺎﯿﮔ + ﯽﻨﺷﺎﭼ ،هﺪﻨﻫد ﻢﻌﻃ ( r e l a t e d - t o ) ﺪﻨﯾاﺰﻓا ﯽﻣ نآ ﻪﺑ ﺪﻫد ﯽﻣ اﺬﻏ ﻪﺑ ﻪﮐ ﯽﻤﻌﻃ و هﺰﻣ , ﻮﺑ ﺮﻃﺎﺧ ﻪﺑ ﻪﮐ ار ﻪﭽﻧآ + ﯽﯾوراد ( r e l a t e d - t o ) وراد ﻪﺑ طﻮﺑﺮﻣ + یﺬﻐﻣ هدﺎﻣ ،ﯽﻧدرﻮﺧ ،ﯽﮐارﻮﺧ ،کارﻮﺧ ( r e l a t e d - t o ) نﺪﺑ هﺪﻨﻨﮐ ﻪﯾﺬﻐﺗ داﻮﻣ زا ﯽﻌﺒﻨﻣ + g a r l i c , A l l i u m _ s a t i v u m ( W o r d N e t ) b u l b o u s h e r b o f s o u t h e r n E u r o p e w i d e l y n a t u r a l i z e d
h o n t e s t s . p y D o c t e s t : h a z m . L e m m a t i z e r . L e m m a t i z e r . . . o k D o c t e s t : h a z m . L e m m a t i z e r . L e m m a t i z e r . c o n j u g a t i o n s . . . o k D o c t e s t : h a z m . D e p e n d e n c y P a r s e r . D e p e n d e n c y P a r s e r . . . o k D o c t e s t : h a z m . P e y k a r e R e a d e r . P e y k a r e R e a d e r . . . o k D o c t e s t : h a z m . N o r m a l i z e r . N o r m a l i z e r . c h a r a c t e r _ r e f i n e m e n t . . . o k . . . D o c t e s t : h a z m . S t e m m e r . S t e m m e r . . . o k D o c t e s t : h a z m . T r e e b a n k R e a d e r . T r e e b a n k R e a d e r . . . o k D o c t e s t : h a z m . T r e e b a n k R e a d e r . c o a r s e _ p o s _ e . . . o k D o c t e s t : h a z m . S e q u e n c e T a g g e r . I O B T a g g e r . . . o k D o c t e s t : h a z m . S e q u e n c e T a g g e r . S e q u e n c e T a g g e r . . . o k D o c t e s t : R E A D M E . m d . . . o k
nournia
ontheslope
trafficbrain
helenbevan
.png){kind=avatar}
satai
shibuiwilliam
yuukit
asuna_jp
mickey_kubo
karakurist
motopu
addyosmani
sabderemane
chrislema
szymonslowik
inesmontani
livdayseo
wjessup
jmmastey
thirion
kneath
rocio
jonoalderson
![SOBHE.IR/HAZM ﺎﻔﻄﻟ ﺪﯿﻨﮐ ﮏﻤﮐ ﻪﻌﺳﻮﺗ رد [email protected]](https://files.speakerdeck.com/presentations/b425abfb9d9e4f418b3c1c6c88669226/slide_18.jpg){kind=link}