Finna takaperin: automaattista sisällönkuvailua metatietokorpuksella

Tässä esityksessä esittelen automaattista sisällönkuvailua tekevän Annif-työkalun (joka siinä vaiheessa oli vasta varhainen prototyyppi) Kansalliskirjaston järjestämässä Automaattisesti parempi -seminaarissa 4.5.2017.

Google Slides: https://tinyurl.com/annif-ap

Transcript

1. Finna takaperin automaattista sisällönkuvailua metatietokorpuksella Osma Suominen Automaattisesti parempi -seminaari 4.5.2017
6. YSA YSO Allärs KOKO €$
7. Hot tub by a lake Andrei Niemimäki CC BY-SA Metatietoa 13M dokumentista Monet niistä kuvailtu aiheilla!
8. Hot tub by a lake Andrei Niemimäki CC BY-SA
9. Hot tub by a lake Andrei Niemimäki CC BY-SA
10. lähes 28 000 käsitettä joita voi käyttää sisällönkuvailussa
12. Finna API aihehaut: - uusiutuvat luonnonvarat type=Subject - “uusiutuvat luonnonvarat” type=Subject - topic_facet:”uusiutuvat luonnonvarat” Kerätään kaikista tuloksista - nimeke/otsikko - kuvaus/tiivistelmä, jos on
13. Finna API aihehaut: - uusiutuvat luonnonvarat type=Subject - “uusiutuvat luonnonvarat” type=Subject - topic_facet:”uusiutuvat luonnonvarat” Kerätään kaikista tuloksista - nimeke/otsikko - kuvaus/tiivistelmä, jos on On uusiutuvan energian vuoro Vapon ilmasto-ohjelman osa 2 : uusiutuvalla energialla korvataan turvepolttoaineita Uusiutuvat energialähteet vuoteen 2030 Suomessa Tulisijavaraaja pientalojen lämmönlähteenä Abstract: Sustainable development and renewable energy, especially wind power, in the national core curriculum for basic education. Pohjoisen uusiutuvista luonnonvaroista kasvua ja kannattavuutta : agrometsä- ja puutarhatalouden mahdollisuudet Pohjois-Suomessa Aurinkovoima Ehtymätön energia Uusiutuva energiapolitiikka : vertailevia skenaarioita Kauppa- ja teollisuusministeriön Energiatalous 2025 -skenaariotarkasteluihin Referat: Handlingsplan för förnybara energikällor. Solveigin laulu Vihreän talouden toimintamalli : tapaustutkimus Sodankylästä Aurinkokeräinten liittäminen Espoo-Vantaan teknillisen ammattikorkeakoulun kattilalaboratorioon Abstract: Action plan for renewable energy 2003-2006. Abstract: The applicability of renewable energy for traffic terminal heating. Abstract: Evaluation of the Energy Information Center Motiva. Bioenergia Biokaasulaitokset ja niiden tuotanto Saksassa Uusiutuvan energian edistämisohjelma 2003-2006 : työryhmän ehdotus Hallituksen energiaohjelma jäi kauas tavoitteestaan Guide for solar heating system. Olki on vaikea polttoaine : Peltoenergia Suomessa Uusiutuvan energian hanke sai rahoituksen Terminaalivesi lämmittää kasvihuoneita : uusiutuvan energian hyödyntämistä unkarilaisittain Vihreitä sertifikaatteja Green economy in the making : a case study from Sodankylä. Biomassa ja jätteet tärkeimmät uusiutuvat energialähteet
14. On uusiutuvan energian vuoro Vapon ilmasto-ohjelman osa 2 : uusiutuvalla energialla korvataan turvepolttoaineita Uusiutuvat energialähteet vuoteen 2030 Suomessa Tulisijavaraaja pientalojen lämmönlähteenä Abstract: Sustainable development and renewable energy, especially wind power, in the national core curriculum for basic education. Pohjoisen uusiutuvista luonnonvaroista kasvua ja kannattavuutta : agrometsä- ja puutarhatalouden mahdollisuudet Pohjois-Suomessa Aurinkovoima Ehtymätön energia Uusiutuva energiapolitiikka : vertailevia skenaarioita Kauppa- ja teollisuusministeriön Energiatalous 2025 -skenaariotarkasteluihin Referat: Handlingsplan för förnybara energikällor. Solveigin laulu Vihreän talouden toimintamalli : tapaustutkimus Sodankylästä Aurinkokeräinten liittäminen Espoo-Vantaan teknillisen ammattikorkeakoulun kattilalaboratorioon Abstract: Action plan for renewable energy 2003-2006. Abstract: The applicability of renewable energy for traffic terminal heating. Abstract: Evaluation of the Energy Information Center Motiva. Bioenergia Biokaasulaitokset ja niiden tuotanto Saksassa Uusiutuvan energian edistämisohjelma 2003-2006 : työryhmän ehdotus Hallituksen energiaohjelma jäi kauas tavoitteestaan Guide for solar heating system. Olki on vaikea polttoaine : Peltoenergia Suomessa Uusiutuvan energian hanke sai rahoituksen Terminaalivesi lämmittää kasvihuoneita : uusiutuvan energian hyödyntämistä unkarilaisittain Vihreitä sertifikaatteja Green economy in the making : a case study from Sodankylä. Biomassa ja jätteet tärkeimmät uusiutuvat energialähteet
15. On uusiutuvan energian vuoro Vapon ilmasto-ohjelman osa 2 : uusiutuvalla energialla korvataan turvepolttoaineita Uusiutuvat energialähteet vuoteen 2030 Suomessa Tulisijavaraaja pientalojen lämmönlähteenä Abstract: Sustainable development and renewable energy, especially wind power, in the national core curriculum for basic education. Pohjoisen uusiutuvista luonnonvaroista kasvua ja kannattavuutta : agrometsä- ja puutarhatalouden mahdollisuudet Pohjois-Suomessa Aurinkovoima Ehtymätön energia Uusiutuva energiapolitiikka : vertailevia skenaarioita Kauppa- ja teollisuusministeriön Energiatalous 2025 -skenaariotarkasteluihin Referat: Handlingsplan för förnybara energikällor. Solveigin laulu Vihreän talouden toimintamalli : tapaustutkimus Sodankylästä Aurinkokeräinten liittäminen Espoo-Vantaan teknillisen ammattikorkeakoulun kattilalaboratorioon Abstract: Action plan for renewable energy 2003-2006. Abstract: The applicability of renewable energy for traffic terminal heating. Abstract: Evaluation of the Energy Information Center Motiva. Bioenergia Biokaasulaitokset ja niiden tuotanto Saksassa Uusiutuvan energian edistämisohjelma 2003-2006 : työryhmän ehdotus Hallituksen energiaohjelma jäi kauas tavoitteestaan Guide for solar heating system. Olki on vaikea polttoaine : Peltoenergia Suomessa Uusiutuvan energian hanke sai rahoituksen Terminaalivesi lämmittää kasvihuoneita : uusiutuvan energian hyödyntämistä unkarilaisittain Vihreitä sertifikaatteja Green economy in the making : a case study from Sodankylä. Biomassa ja jätteet tärkeimmät uusiutuvat energialähteet Elasticsearch teksti-indeksi
16. On uusiutuvan energian vuoro Vapon ilmasto-ohjelman osa 2 : uusiutuvalla energialla korvataan turvepolttoaineita Uusiutuvat energialähteet vuoteen 2030 Suomessa Tulisijavaraaja pientalojen lämmönlähteenä Abstract: Sustainable development and renewable energy, especially wind power, in the national core curriculum for basic education. Pohjoisen uusiutuvista luonnonvaroista kasvua ja kannattavuutta : agrometsä- ja puutarhatalouden mahdollisuudet Pohjois-Suomessa Aurinkovoima Ehtymätön energia Uusiutuva energiapolitiikka : vertailevia skenaarioita Kauppa- ja teollisuusministeriön Energiatalous 2025 -skenaariotarkasteluihin Referat: Handlingsplan för förnybara energikällor. Solveigin laulu Vihreän talouden toimintamalli : tapaustutkimus Sodankylästä Aurinkokeräinten liittäminen Espoo-Vantaan teknillisen ammattikorkeakoulun kattilalaboratorioon Abstract: Action plan for renewable energy 2003-2006. Abstract: The applicability of renewable energy for traffic terminal heating. Abstract: Evaluation of the Energy Information Center Motiva. Bioenergia Biokaasulaitokset ja niiden tuotanto Saksassa Uusiutuvan energian edistämisohjelma 2003-2006 : työryhmän ehdotus Hallituksen energiaohjelma jäi kauas tavoitteestaan Guide for solar heating system. Olki on vaikea polttoaine : Peltoenergia Suomessa Uusiutuvan energian hanke sai rahoituksen Terminaalivesi lämmittää kasvihuoneita : uusiutuvan energian hyödyntämistä unkarilaisittain Vihreitä sertifikaatteja Green economy in the making : a case study from Sodankylä. Biomassa ja jätteet tärkeimmät uusiutuvat energialähteet Elasticsearch teksti-indeksi
22. uusiutuvat energialähteet: 100% energialähteet: 95% uusiutuminen: 95% fossiiliset polttoaineet: 100% energiantuotanto: 80% uusiutuvat energialähteet: 77% aaltoenergia: 100% uusiutuvat energialähteet: 90% fossiiliset polttoaineet: 90% uusiutuvat energialähteet: 100% polttohake: 100% hakevoimalat: 77% pilkkeet: 75% hake: 100% puuenergia: 90% biovoimalat: 100% lämpövoimalat: 96% lämmitysvoimalat: 94%
23. uusiutuvat energialähteet: 100% energialähteet: 95% uusiutuminen: 95% fossiiliset polttoaineet: 100% energiantuotanto: 80% uusiutuvat energialähteet: 77% aaltoenergia: 100% uusiutuvat energialähteet: 90% fossiiliset polttoaineet: 90% uusiutuvat energialähteet: 100% polttohake: 100% hakevoimalat: 77% pilkkeet: 75% hake: 100% puuenergia: 90% biovoimalat: 100% lämpövoimalat: 96% lämmitysvoimalat: 94% Eniten osumia saaneet aiheet: • energialähteet • uusiutuvat energialähteet • energiantuotanto • polttohake • uusiutuminen • puuenergia • aurinkoenergia • biopolttoaineet • aurinkotuuli • pilkkeet • energia • fossiiliset polttoaineet
24. Demo
25. Wikipedian kuvailu YSOlla Suomenkielisessä Wikipediassa on 410 000 artikkelia (raakatekstinä 620 MB) Automaattinen sisällönkuvailu kesti n. 6-7 tuntia Aiheita annettiin 1-3 per artikkeli (keskimäärin n. 2) Esimerkkejä: (satunnaisesti valittu) Wikipedia-artikkeli YSO-aiheet Ahvenuslammi (Urjala) rannat Brasilian Grand Prix 2016 kilpa-autoilijat, formula, mikroautoilu Guy Topelius kansanrunoudentutkijat, sakariini HMS Laforey sota-alukset Liigacup jalkapallo, jalkapalloilijat Pää Kii yhtyeet, popmusiikki RT-21M Pioneer ohjukset Runoja popmusiikki, levytys, sävellykset Sjur Røthe hiihtäjät, hiihto, yhdistetty hiihto Veikko Lavi sanoittajat, kupletit
26. Yleisimmät aiheet Wikipediassa
27. Yleisimmät aiheet Wikipediassa Image credits: Petteri Lehtonen [CC BY-SA 3.0] Hockeybroad/Cheryl Adams [CC BY-SA 3.0] Tomisti [CC BY-SA 3.0] Tuomas Vitikainen [CC BY-SA 3.0]
29. Mahdollisuuksia 1. Kuvailusanaston laajentaminen esim. KOKO, paikannimet, yhteisöt… a. ...mutta tarvitaan riittävästi aineistoa (viitetietoja), jossa sanastoa on käytetty 2. Tarkkuuden parantaminen a. suurempi korpus, esim. Ylen uutisaineistoja hyödyntämällä b. opettaminen kokotekstiaineistoilla c. prosessoinnin ja parametrien hienosäätö
31. Mitä tästä opimme? Annif ei välttämättä ole lopullinen ratkaisu, mutta... 1. KAM-sektorin avointa metatietoa voi hyödyntää opetusaineistona 2. API on olennainen osa työkalua ja mahdollistaa mm. mobiilisovellukset 3. Käyttäjän kannalta on hyödyllistä, että työkalua voi myös opettaa 4. Käyttämällä tekstintunnistusta (OCR) voidaan jopa painettua aineistoa kuvailla automaattisesti kohtalaisella menestyksellä
33. Finna API Finto SPARQL API ocr.space API Responsive Voice API Kerttu Suominen Elasticsearch python-elasticsearch langdetect nltk requests Pillow WikiExtractor jQuery jQuery Mobile Koodi: https://github.com/osma/annif Demo: annif.org Mobiili: m.annif.org API: api.annif.org Wikipedia-YSO data: SPARQL, CSV Tämä esitys: http://tinyurl.com/annif-ap Twitter: #Annif