*Just Data* : Crawling et extraction d'information avec Python

BigData/Cloud/Machine Learning, c'est maintenant des mots passé dans le langage courant, mais souvent avant d'atteindre le niveau de la *Big*Data, il faut parfois se battre pour juste avoir la partie Data. Dans cette présentation, je vais vous apprendre à créer de la donnée !!

Ok, pas créer de la donnée... Disons plutôt sauvegarder le patrimoine mondial de l'humanité en utilisant une bonne dose de connaissance du web, un peu de NLP, de crawling et surtout un peu de Python. Si vous décidez de me suivre, vous allez pouvoir apprendre rapidement :

A organiser votre recherche d'information et la selection de vos cibles
Comment extraire l'information d'une page web
A construire et déployer un crawler pour le web
Comment bypasser, comme un vrai hacker, certaines techniques de protection des sites web
et quelques techniques pour arriver à extraire de l'information de textes bruts
A grands pouvoirs, correspond grandes responsabilités, ainsi le tout sera saupoudré d'une courte introduction au contexte légal pour que vous ne choisissiez d'utiliser vos nouvelles compétences en connaissance de cause et dans les limites de la loi.

Et puis comme j'aime bien les challenges, on fera une petite séance de LiveCoding, où je mettrais tout ça en pratique avec vous sur un sujet que vous allez choisir en live pendant la conférence.

Transcript

1. *Just* Data Crawling et extraction d'information avec Python
2. Disclaimer • Tout ceci est à but pédagogique • Respectez le cadre légal • Apprenez à sécuriser vos données • En sommes :
4. Me • Dev Java, Python • Finance, Santé • Fondateur • APPARTINFO • Lateral Thoughts (LT)
5. LT • Not Only SSII • A plat • Orientée innovations
6. LT Data «Big Data Forever» Functional Programming Data vs. Code NLP Python Machine Learning NLP Machine Learning NoSQL Mahoot Java
7. Good Hunting I. Organiser sa recherche II.Extraire l’information III.Construire et déployer un crawler IV.Techniques de protection LIVE
8. Intro
9. Stats • Plus de 45 Milliards de pages web
12. Evolution du trafic internet
13. 1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 0 PB 10 000 PB 20 000 PB 30 000 PB Evolution du trafic internet
14. 1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 0 PB 10 000 PB 20 000 PB 30 000 PB 0,001 0,002 0,004 0,01 0,02 0,17 1,8 5 11 26 75 175 356 681 1 267 2 055 3 339 5 219 7 639 10 676 14 929 20 634 Evolution du trafic internet
15. Cadre légal
16. FR • loi DADVSI (droit d’auteur et aux droits voisins dans la société de l’information) • Spécialement : Article L 342-1 du Code de propriété intellectuelle
17. Code de la propriété Intellectuelle
18. Mais... • Il faut justifier d’être «producteur de base de données» • Exemple : • SeLoger Vs Solus Immo, Yakaz, Gloobot
19. L-341-1 du CPI *TRIBUNAL DE GRANDE INSTANCE DE PARIS – CHAMBRE SOCIALE, 3EME CHAMBRE, 4EME SECTION JUGEMENT DU 26 JANVIER 2012 PRESSIMMO ON LINE / SOLUS IMMO, YAKAS, GLOOBOT
20. Donc • Si on n’est pas «producteur» => Aucune protection • Si on l’est, encore faut-il justifier : • d’une «extraction qualitativement ou quantitativement substantielle» ( L. 342-1) • Achèvement inférieur à 15 ans après le 1er janvier ( L. 342-5)
21. Ce droit • Nommé «Droit Sui Generis» est issue d’une directive européenne de 1996 • Donc valable dans toute l’Europe (même si transcrit dans les lois locales)
22. Dans le monde • Australia • United States • United Kingdom (... still in Europe)
23. Organiser sa recherche
24. Trouver sa cible • 2 ratios à prendre en compte : • Qualité de la donnée • Difficulté d’extraction
30. Extraction d’information
31. Une Cible est trouvée • Premiers reflexes ? • API • MetaData (RDFa, microformat) • (x)HTML(5) • Texte brut
32. En somme Est-ce qu’il y a une API ? Est-ce qu’il y a des tags ? Est-ce que le HTML peut m’aider ? Le texte brut est-il utilisable ? Pour le site normal ? Pour le site mobile ? Pour l’App ?
33. On tente ? • 2 objectifs : extraire titre et réalisateur • Les outils : • Chrome => (Console, Network) • Python => (Requests, BeautifulSoup) • Regexp DEMO
34. Sympa • BeautifulSoup (Python) • JSoup (Java, JVM-based...)
35. JSoup
36. Constat • Fatiguant • Très dépendant de la structure de la page • un peu répétitif
37. Scrapely • Idée : Instance-Based Machine Learning to scrap
38. En action
39. En action
40. En action
41. En action
42. Scrapely • Conclusion: • Super sympa • mais très sensible
43. Industrialisation
44. Quelques frameworks
45. Quelques frameworks • Scrapy (Python)
46. Quelques frameworks • Scrapy (Python) • Apache Nutch (Java)
47. Scrapy ? • Framework pour déployer un crawler • Concepts : • Items • Pipeline • Spiders • Rules
48. Scrapy Architecture
49. Scrapy en SAAS • Scrappinghub • Déployer son crawler sur un cluster • Monitorer les items récupérés • Autoscrapping
50. Autoscraping http://www.youtube.com/watch? feature=player_embedded&v=lSJvVqDLOOs
51. Techniques de protection
52. Dummies • Ne pas mettre tout dans le sitemap.xml • Sécuriser ses APIs • Fail2ban • Analyser les utilisations « inhabituelles » • Ne pas lier tout à tout/listing non ex-haustif
53. Live