Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Informe final URNR

Informe final URNR

Avatar for PabloDeAlbu

PabloDeAlbu

December 26, 2017

Other Decks in Programming

Transcript

  1. Estado actual del RID-UNRN Informe técnico sobre su infraestructura tecnológica

    Esta obra está bajo una Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional. 1
  2. Introducción El presente informe ha sido confeccionado en el marco

    del proyecto de colaboración técnica entre UNRN y la UNLP, a través del SEDICI. El informe se divide en 3 áreas: • Perfil de metadatos y vocabularios controlados • Configuración del software de repositorio • Configuración del servidor
  3. Perfil de metadatos y vocabularios controlados • Perfil de metadatos,

    esquemas y campos • Uso de vocabularios controlados • Procedimientos de ingesta Configuración del software de Repositorio • Estructura de comunidades y colecciones • Software de Repositorio • Assetstore • Seguridad • Uso de la base de datos • Módulo de embargo • Mapeos Hoja de ruta • Estadísticas • Media Filters • OAI Data Provider • Procedimiento de ingesta • Frontend Configuración del servidor • Hardware • Sistema operativo • Servicios y herramientas • Servidor Handle • Backups • Políticas de seguridad • Logs • Tareas programadas
  4. Perfil de metadatos, esquemas y campos En total son 48

    metadatos (4 manejados por DSpace). Existen metadatos creados específicamente para cumplir con las Directrices SNRD (ej dc.type.snrd). Se propone • Reducir al mínimo la cantidad de metadatos propios. • Evitar agregar metadatos propios funcionales sólo a directrices • Agregar definiciones de metadatos propias. • Agregar, modificar, eliminar metadatos indicados en el informe.
  5. Uso de vocabularios controlados Recomendaciones • Crear una definición de

    vocabulario para una “Tipología Documental” propia del repositorio. • Asociar a cada ítem del repositorio una Tipología Documental explícita. • Eliminar tipologías OpenAIRE/SNRD, en favor de la definición de una tipología propia Estado actual • Se agregaron ◦ Códigos de Disciplinas CONICET utilizado por dc.subject.classification ◦ Vocabulario IANA MIME Media Types utilizado por dc.format. ◦ Tesauro de la UNESCO. • Se definieron 11 vocabularios controlados mediante las etiquetas <value-pairs>
  6. Procedimientos de ingesta El workflow habilitado es el denominado Traditional

    Workflow que permite: • Carga • Edición • Aprobación. Sería deseable usar el XMLWorkflow • Más potente • Permite definir circuitos más adecuados Pero dado que el frontend usado es JSPUI, no se puede hacer. De todas formas, al momento el Workflow Original alcanza para los 2 casos de carga implementados: carga central y deposito mediado en sede.
  7. Procedimientos de ingesta Depósito mediado: • El procedimiento configurado es

    correcto. Autoarchivo: • No existe colección ni formulario de “Autoarchivo”. • Crear un formulario de envío específico para la colección de “Autoarchivo” • El formulario debe ser sencillo y con pocos campos. • A fin de permitir la carga pública a dicha colección se deberá dar permisos de carga a Anonymous y habilitar el registro público de usuarios.
  8. Configuración del software de Repositorio Software de Repositorio • Implementado

    sobre DSpace versión 5.4. Se recomienda actualizar a la versión 5.8. Assetstore No existen recomendaciones al respecto. EL uso es correcto. Uso de HTTPS El servicio no funciona sobre HTTPS, ni a nivel servidor web ni a nivel de web container.
  9. Configuración del software de Repositorio - Grupos y usuarios •

    El auto-registro de usuarios no está activado. • Usuarios del sistema dados de alta por los administradores del repositorio. Existen los siguientes grupos en el repositorio: • Anonymous. • Administrator. • Grupos de Workflow: ◦ NORMATIVA ◦ Bibliotecarios Andina ◦ Bibliotecarios Alto Valle ◦ Editorial ◦ Digesto ◦ Bibliotecarios Atlántica Si se habilita un procedimiento para el Autoarchivo, entonces habilitar la registración de usuarios sin mediación de los administradores.
  10. Configuración del software de Repositorio Acceso externo a servidor Solr

    • Habilitar el acceso a la red/IPs desde la que se conectan los desarrolladores del repositorio. Base de datos • Parámetros de conexión por defecto con DSpace. • Se recomienda cambiar el nombre del la base de datos, nombre de usuario y contraseña. • Aumentar cantidad permitida de conexiones simultáneas y limitar el número de conexiones ociosas a medida que el tráfico hacia el servidor vaya aumentando .
  11. Módulo de embargo • Habilitado para el proceso de submission

    llamado “tesis”. ◦ Presenta un embargo a nivel de bitstream. • No está habilitado para los procesos de submission “traditional” y “digesto”. • Habilitar el módulo de embargo a nivel de ítem (“AccessStep”) como mínimo para los procesos de submission que no lo tengan. ◦ Si se requiere, también se cuenta con embargo a nivel de bitstream (“UploadWithEmbargoStep”) en el item-submission.xml.
  12. Mapeos GoogleScholar • Habilitado con su configuración por defecto. •

    Revisar mapeos actuales y verificar si es necesario agregar algún metadato o tipología más. OpenSearch • Deshabilitado. Se recomienda activarlo. RSS - ATOM • Habilitado con su configuración por defecto. • Aumentar a 20 la cantidad de ítems por feed MODS • Configuración por defecto • Sólo si se quiere soportar interoperabilidad en los AIP generados, configurar los mapeos MODS acorde al perfil de metadatos actual de repositorio.
  13. Módulo de estadísticas de DSpace • Habilitado el uso estadísticas

    y descargas sólo para Administradores. • Logueo de accesos de bots habilitado • No existen cronjobs configuradas de mantenimiento del core Solr de ‘statistics’. • Se recomienda actualizar periódicamente los archivos de IPs de spiders. Google Analytics • No se encuentra activo. Es recomendable activarlo Estadísticas
  14. Media Filters Estado actual • Configuración por defecto. Recomendación •

    Activar generación de thumbnails mediante ImageMagick • Instalar imagemagick y ghostscript. • Configurar cronjob que ejecute los periódicamente.
  15. OAI Data Provider Estado actual • Servidor OAI levantado con

    configuración defecto. • No se expone el Set ‘snrd’. Recomendaciones • Configurar ◦ Contexto propio para el SNRD ◦ Set ‘snrd’ ◦ Mapeos correspondientes. ◦ Filtros y condiciones OAI ◦ Cronjob para actualización/re-indexación del core ‘oai’ en Solr.
  16. Procedimiento de ingesta Estado actual 3 procesos de submission definidos

    • Traditional • Digesto • Tesis Se configuraron muchos mapeos explícitos por colección • 23 mapeos de colecciones a “digesto” • 51 mapeos de colecciones a “tesis” Recomendaciones: • Unificar procesos. • Permitir embargo a nivel bitstream ante cualquier situación. • Habilitar el paso de selección de Licencia CC.
  17. Formularios de metadatos para el envío de ítems Estado actual

    Existen 5 formularios: • Traditional (duplicado) • Digesto • Tesis • Revistas_cientificas. Se configuraron muchos mapeos explícitos por colección hacia los formularios “digesto”, “tesis” y “revistas_cientificas”. Existen metadatos replicados entre los distintos formularios. Recomendación • Unificar formularios • Reducir cantidad de mapeos por formulario • Eliminar campos de tipologías específicos. • Eliminar campos “Nivel de accesibilidad” y “Fecha de Embargo” • El nivel de accesibilidad se debe determinar a partir de la existencia de embargo. • Revisar campo “dc.description.filiation”.
  18. Flujo de trabajo (Workflow) Se utiliza el Traditional Workflow de

    DSpace. No se tienen recomendaciones viables con la actual GUI. Solo sería posible definir un flujo de trabajo más configurable y genérico si se utiliza XMLUI. Tener en cuenta para tener un flujo de trabajo más general, en donde existen los siguiente perfiles de grupos de usuario: • Grupo Autoarchivo • Grupo Administradores por comunidad • Grupo de administradores centrales del repositorio
  19. Flujo de trabajo (Workflow) El flujo de trabajo recomendado es

    el siguiente: • Usuario de los grupos Autoarchivo o Administrador de comunidad realiza un envío al repositorio. • Un usuario del grupo Administrador del repositorio edita/rechaza/aprueba el contenido enviado. • El envío es archivado en el repositorio. Los puntos a tener en cuenta son • Crear colección de Autoarchivo • Vincular permisos de ADD al grupo Anonymous. • Definir Administradores por comunidad y crear grupos asociados. • Definir si se optará por adjudicar permisos de ADMIN por comunidad o ADD por colección. • Crear grupo administradores centrales, con permisos de ADMIN sobre todas las comunidades padre del repositorio. • Por cada subcolección de cada comunidad padre debe crearse el grupo de Accept/Reject/Edit Metadata Step del Traditional Workflow
  20. Frontend En resumen • Los tiempos de carga son aceptables.

    • El sitio cumple con los standares de estilos de la W3C • Es compatible con todos los navegadores • La usabilidad de interfaz cumple con las W3C Best Practices • Cumple con los hitos de accesibilidad. • Se podría mejorar la adaptabilidad a dispositivos móviles con respecto al tamaño de algunas imágenes. • Actualmente el frontend no tiene internacionalización.
  21. Hardware Estado Actual Recomendaciones CPU Procesador Intel Xeon Proccessor E5649

    de 6 cores y 12mb de cache L2. Garantizar capacidad de cómputo en al menos 2 cores RAM 4GB de memoria RAM de la cual el 50% suele estar libre. Aumentar la cantidad de RAM a 8GB, a no ser que se dividan los servicios en más máquinas virtuales SWAP 512MB de los cuales casi todo está libre. Aumentar el SWAP a 1GB. DISCO Se dispone de una única partición de datos de 20GB de los cuales el 92% está usado. Aumentar el tamaño del disco al menos a 40GB, e ir incrementando su tamaño periódicamente de a 10GB, en función del espacio libre
  22. Sistema Operativo y paquetes de software • El servidor cuenta

    con una instalación de Debian v7 (Wheezy) como sistema operativo, utilizando Linux v2.6.32 como kernel. ◦ Se recomienda migrar el sistema operativo a un Debian v8 (Jessie). • Dentro de los paquetes instalados del sistema, destacamos PostgreSQL 9.1.24 Tomcat 7.0.28-4 Java 1.7.0_121 Maven 3.0.4 Ant 1.8.2 Git 1.7.10.4 Webmin Apache(Xampp) Shellinabox
  23. Servidor handle • El servidor handle se encuentra correctamente configurado.

    • Los puertos 2641 y 8000 se encuentran escuchando correctamente. • Se está utilizando el prefijo 20.500.12049. • Actualmente, al resolver una URL se agrega el puerto 8080 a la URL resuelta, lo que provoca la pérdida de la sesión HTTP activa. Recomendación: • Quitar puerto 8080 en el valor de la propiedad dspace.baseUrl en el archivo config/dspace.cfg.
  24. Backups, Logs y Cronjobs Actualmente no existen tareas automatizadas para

    realizar backups periódicos de la base de datos utilizada por el repositorio • Crear una tarea automatizada para crear backups periódicamente. • Crear una cronjob de rotación de los archivos de backups generados. • Revisar periódicamente que el backup de base de datos se esté realizando correctamente.
  25. Esquema de Rotación de Backups Datos a resguardar Ubicación Actualización

    Frecuencia Política de retención mínima Método recomendad o configuración de tomcat8, postgresql, apache, firewall, etc /etc/* Muy poco frecuente mensual 2 meses tar Configuración de DSpace -$DSPACE_DIR/config -$DSPACE_DIR/handle -cronjobs del sistema Poco frecuente quincenal 2 meses tar Assetstore (archivos de documentos) $DSPACE_DIR/assetst ore Frecuente diaria siempre se mantiene 1 copia rsync semanal al menos 3 copias: - última semana, - último mes - penúltimo mes tar
  26. - Esta tabla muestra un conjunto de recomendaciones para la

    implementación de un esquema de rotación de backups. Esquema de Rotación de Backups - Continuación Datos a resguardar Ubicación Actualización Frecuencia Política de retención mínima Método recomenda do Base de datos postgres Muy Frecuente diaria diarios: 7 días semanales: 2 meses pgdump Índices Solr $DSPACE_DIR/solr Muy Frecuente diaria diarios: ultimo dia mensuales: últimos 2 meses solr backup (ej) VM completa semanal 1 mes dump
  27. Muchas gracias! 31 Ariel Lira, Facundo Adorno, Pablo de Albuquerque

    {alira, facundo, pablo}@sedici.unlp.edu.ar Presentado el 27/12/2017 en el marco del convenio de colaboración entre la UNLP y UNRN