Processamento de Linguagem Natural com Node.js

Aprenda o que é Processamento de linguagem natural, onde usar, como funciona e como fazer PLN com node.js

1. rodrigo matheus rodrigorizando.com rodrigorizando@gmail.com Node Natural
2. Node Natural:   Shake especial para programadores
5. http://www.youtube.com/watch?v=mPOQTskNEbk
6. 90% dos dados no mundo foram   gerados nos últimos 2 anos
7. já reclamou no Reclame Aqui?
8. já fez post em algum blog?
9. já fez algum comentário em site ou blog?
10. já abriu chamado para reclamar da operadora?
11. tweets? post na timeline? selfie?
12. semi-estruturado não estruturado estruturado
13. 99% do que escrevemos ! ! ! são dados não estruturado
14. 80% das informações no mundo ! ! ! são dados não estruturado
15. pln
16. pln = nlp processamento de   linguagem natural natural language processing
17. ☻ Extração de informação
 ☻ Recuperação de informação
 ☻ Tradução automática
 ☻ Geração Automática de Texto
 ☻ Geração de linguagem natural
 ☻ Interpretação de linguagem natural
 ☻ Simplificação de texto
 ☻ Correção ortográfica.
 ☻ Reconhecimento Vocal
 ☻ Reconhecimento de Escritura Manuscrita
18. como faz isto em node.js?
19. com Natural Processamento de linguagem natural
20. npm install natural
21. Tokenizer var natural = require('natural'); ! var tokenizer = new natural.WordTokenizer(); ! console.log(tokenizer.tokenize("your dog has flees.")); ! // [ 'your', 'dog', 'has', 'flees' ]
22. String  Distance var natural = require('natural'); ! console.log(natural.JaroWinklerDistance("dixon","dicksonx")) ! console.log(natural.JaroWinklerDistance('not', ‘same')); ! // 0.7466666666666666 // 0
23. Stemmer var natural = require('natural'); ! console.log(natural.PorterStemmer.stem(“words")); ! // word
24. Classifiers var natural = require('natural’); var classifier = new natural.BayesClassifier(); classifier.addDocument(‘eu quero, 'buy'); classifier.addDocument(‘vou comprar, 'buy'); classifier.addDocument(‘vendo, 'sell'); classifier.addDocument(‘promoção, 'sell'); classifier.train(); ! console.log(classifier.classify(‘iPhone em promoção, aproveite.)); // sell console.log(classifier.classify(‘vou comprar hoje o iphone)); // buy
25. Phonetics var natural = require('natural’); var metaphone = natural.Metaphone, soundEx = natural.SoundEx; ! var wordA = 'phonetics'; var wordB = 'fonetix'; ! if(metaphone.compare(wordA, wordB)){ console.log(‘Eles são iguais); }
26. Pluralized/Singularized var natural = require('natural’); var nounInflector = new natural.NounInflector(); ! console.log(nounInflector.pluralize('radius')); // radii ! console.log(nounInflector.singularize('beers')); // beer
27. Pluralized/Singularized var natural = require('natural’); var nounInflector = new natural.NounInflector(); ! console.log(nounInflector.pluralize('radius')); // radii ! console.log(nounInflector.singularize('beers')); // beer
28. N-­‐Grams var natural = require('natural’); var NGrams = natural.NGrams; ! console.log(NGrams.bigrams('some words here')); // [ [ 'some', 'words' ], [ 'words', 'here' ] ] ! console.log(NGrams.trigrams(['some', 'other', 'words', 'here'])); // [ [ 'some', 'other', 'words' ], [ 'other', 'words', 'here' ] ]
29. tf-­‐idf var natural = require('natural’); var TfIdf = natural.TfIdf; var tfidf = new TfIdf(); ! tfidf.addDocument('this document is about node.'); tfidf.addDocument('this document is about ruby.'); tfidf.addDocument('this document is about node. it has node examples'); ! tfidf.tfidfs('node', function(i, measure) { console.log('document #' + i + ' is ' + measure); }); // document #0 is 1.4469189829363254 // document #1 is 0 // document #3 is 2.8938379658726507
30. WordNet // npm install WNdb   var wordnet = new natural.WordNet(); ! wordnet.lookup('node', function(results) { results.forEach(function(result) { console.log('------------------------------------'); console.log(result.synsetOffset); console.log(result.pos); console.log(result.lemma); console.log(result.synonyms); console.log(result.pos); console.log(result.gloss); }); });
31. obrigado! rodrigorizando.com rodrigorizando@gmail.com @rodrigorizando