Infraestrutura de dados abertos da Dataprev e Previdência Social

Disponibilizar informações do setor público em formatos abertos e
disponível em local acessível melhora a transparência e permite que
qualquer cidadão utilize aqueles dados de acordo com a sua necessidade. Com o objetivo de atender as diretrizes da Lei de Acesso a Informação
(LAI) e a responsabilidade com políticas públicas, a Dataprev elaborou
um projeto para definição de arquitetura de dados abertos compatível e integrada com a solução do portal dados.gov.br.

Esta solução contempla conceitos e padrões estabelecidos pelo W3C
(RDF, XML, SPARQL) para catalogação e documentação dos dados, além de
integrar com o ambiente interno de gestão de dados.

O objetivo desta palestra é detalhar as funcionalidades para federação
de bases com o software CKAN nos diversos provedores de informação do
governo; uso da ferramenta Dardo/Netuno como parte integrante da arquitetura para permitir a disponibilização de dados residentes em bases gerenciais e não relacionais; utilização e planejamento do RDF para consultas SPARQL.

Transcript

1. Infraestrutura de dados abertos Infraestrutura de dados abertos da Dataprev da Dataprev Leonardo Cezar Leonardo Cezar
2. Definição de dados abertos Definição de dados abertos “Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa; sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras.” http://opendatahandbook.org/
3. Pontos de destaque Pontos de destaque – Disponibilidade de acesso • Formato conveniente para uso; • Preferencialmente disponíveis na internet; – Reutilização e Redistribuição • Liberar sob termos compatíveis com a utilização e combinação deste dado com outros. – Participação Universal • Incentivo de reutilização sem nenhuma restrição contra pessoas ou grupos
4. Definição de dados governamentais abertos Definição de dados governamentais abertos “Dado governamental aberto é a disponibilização de informações governamentais representadas em formato aberto e acessível de tal modo que possam ser reutilizadas, misturadas com informações de outras fontes, gerando novos significados”
5. Três Leis dos Dados Governamentais Abertos Três Leis dos Dados Governamentais Abertos – Se ele não pode ser encontrado na web e indexado, ele não existe. – Se não estiver aberto e disponível em formato compreensível por máquina, ele não pode ser utilizado. – Se qualquer dispositivo legal não permitir que ele seja reutilizado, ele não é útil.
6. Ocorrências históricas Ocorrências históricas – 2004 Portal da Transparência – 2007 Definição dos princípios de dados abertos – 2011 Parceria Governo Aberto (OGP) – 2012 Lei de Acesso à Informação (LAI) – 2012 Instrução Normativa 04/2012 (INDA) – 2012 Portal de dados abertos
7. Infraestrutura Nacional de Dados Abertos – INDA Infraestrutura Nacional de Dados Abertos – INDA – Definir, estruturar e coordenar a política de dados abertos – Definir e disciplinar os padrões e aspectos técnicos referentes à disponibilização e disseminação de dados – Buscar a melhoria contínua na publicação de dados abertos – Promover a participação social na utilização dos dados públicos
8. Motivação Motivação – Simplificar o processo de publicação de conjunto de dados – Alinhamento tecnológico com a Infraestrutura Nacional de Dados Abertos – Utilizar padrões tecnológicos compatíveis com os princípios de dados abertos – Catalogação dos dados em ambiente comum para a sociedade.
9. Ambiente legado Ambiente legado – Disponível na internet a partir de arquivos estáticos – Armazenamento em sistema de arquivos – Documentação em arquivos texto – Publicação a partir do repositório de versionamento (cvs) – Sem suporte a metadados – Sem suporte a vocabulário – Sem mecanismos de buscas
10. Prospecção de ferramentas Prospecção de ferramentas – Socrata (www.socrata.com) • Criação de gráficos • Desenvolvimento de mashups online • Suporte rdf, json, xml, csv, kml • Indexação dos conjuntos de dados • Rede Social • API • Proprietário • http://www.data.gov
11. Prospeção de ferramentas Prospeção de ferramentas – CKAN (www.ckan.org) • Indexação de documentos • Pesquisa por palavras-chave ou etiquetas • Versionamento de conjunto de dados • Armazena dados e/ou metadados • Visualização interativa dos dados (mapas, tabelas, gráficos) • Federação de CKANs • API REST • www.data.gov.uk
12. Outras ferramentas prospectadas Outras ferramentas prospectadas – Módulo drupal para web semântica e linked data; – Módulo wordpress opendata;
13. Ambiente CKAN Ambiente CKAN – Servidor Web Apache gerenciando instâncias ckan virtual host (wsgi) – Servidor nginx para rotear as requisições para indexador de pesquisas – Servlet container Jetty • ElasticSearch (motor de busca) • Solr (indexação de arquivos)
15. Integração com ambiente externo Integração com ambiente externo – Catalogação utilizando o padrão DCAT (vocabulário para representação de catálogos homologado pelo W3C) – Aproveitar elementos de metadados definidos no portal dados.gov.br – Utilizar recurso de harvest para promover a federação de CKANs
16. Integração com ambiente interno Integração com ambiente interno – Integração com ferramenta dardo através de API – Integração com intranet (drupal) utilizando plugins – Integração com internet (wordpress)
18. Integração com Dardoweb Integração com Dardoweb – Definição de datasets – Elaboração das consultas – Desenvolvimento de API REST – Validação de conjunto de dados
19. Próximas Etapas Próximas Etapas – Definição de ontologias – Geração de RDFs dos conjuntos de dados baseado em vocabulários – Servidor SPARQL • D2R Server – Repositório de triplas • D2RQ
20. Referências Referências – http://opendefinition.org/ – http://www.opencontentlawyer.com/open-data/open-database-licence/ – http://www.opendatacommons.org/ – http://www.ckan.net/ – http://www.ted.com/talks/tim_berners_lee_on_the_next_web.html – http://www.w3.org/2008/Talks/WWW2008-W3CTrack-LOD.pdf – http://dados.gov.br/ – http://dados.gov.br/cartilha-publicacao-dados-abertos/ – http://wiki.gtinda.ibge.gov.br/GetFile.aspx?File=%2fGT3-Tecnologia%2fArquitetu – http://opendatahandbook.org/pt_BR/ – http://okfn.org/
21. “O melhor uso que poderá ser feito com os seus dados certamente será feito por outros e não por você.” The Open Mind Principle Dúvidas? leonardo.cezar@dataprev.gov.br @lhcezar