Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DWX2021: Open-Source Intelligenz (OSINT) mit Big Data auf Azure - Geht das?

DWX2021: Open-Source Intelligenz (OSINT) mit Big Data auf Azure - Geht das?

In dieser Session stellen wir ein Forschungsprojekt vor, welches wir für einen Kunden durchgeführt haben. Es ging darum die Fragestellung zu klären, ob mit Open-Source Intelligence-, Big Data- und Cloudtechnologien ein System gebaut werden kann, mit welchem Daten aus Social Media Kanälen in Echtzeit ausgewertet werden können. Die dafür verwendeten Technologien drehen sich um Azure Databricks, Data Lake, C# und Graphdatenbanken. Wir erzählen von unseren Erfahrungen, Learnings und Resultaten.

Manuel Meyer

June 29, 2021
Tweet

More Decks by Manuel Meyer

Other Decks in Programming

Transcript

  1. www.manuelmeyer.net/ www.stefanko.ch @manumeyer1 @koecse OSINT mit Big Data auf Azure

    – Geht das? Developer Week 2021 Manuel Meyer, Stefan Koch
  2. Manuel Meyer helps customers: • to kick-start the Azure journey.

    • to architect, implement and optimize their Azure Solutions www.manuelmeyer.net www.azurezurichusergroup.com @manumeyer1
  3. Stefan Koch • Earns his bread and butter at Trivadis

    as a BI Consultant • Can move silently through the cloud • As dexterous with the gun as with the keyboard [email protected] @koecse
  4. 2016 "celebrities who feared their phone conversations were being hacked"

    • Dual-Boot • End-to-end Encryption • Instant Messaging • Calls • Kill Code 2’000$ for 6 Months
  5. 60’000 users Gendarmerie National: «90% of subscribers are criminals» British

    National Crime Agency: «No evidence of non-criminals using it» «The industry standard of organized crime» 2020
  6. 2017 Gendarmerie discovers first devices And starts the investigation 2019

    EU Funding Infiltration Distribution in the EU… https://en.wikipedia.org/wiki/EncroChat
  7. 746 Festnahmen 8 Tonnen Kokain 1.2 Tonnen Crystal Meth 19

    Drogenlabors 100 Waffen 55 Luxusautos 63 Mio Euro Cash 1 Folterkammer. Das Ende vom EncroChat!
  8. «… is a multi-factor methodology for collecting, analyzing and making

    decisions about publicly available data sources to be used in an intelligence context» OSINT
  9. «… is a multi-factor methodology for collecting, analyzing and making

    decisions about publicly available data sources to be used in an intelligence context» Intelligence
  10. Lesson Learned ▪ You pay what you use. And we

    used a lot sometimes… ▪ Not all police investigators are computer geeks. ▪ Various difficulties to get the data from social medias >> restricted API’s, Cambridge Analytica & Facebook, etc.