Tu Flujo de Trabajo

Cuarto módulo de la primera edición del curso «Bioinformática Aplicada a Tu Proyecto».

Transcript

1. Bioinformática Aplicada a Tu Proyecto Módulo 4: Tu Flujo de trabajo Joshua Haase 2020-05-25 1
2. Estamos en la cuarta semana del curso. 2
3. Esta semana veremos cómo hacer un flujo de trabajo 3
4. La computadora donde hiciste el análisis dejó de funcionar y no se pueden recuperar los resultados. Figure 1: ¿Podrías hacer el análisis de nuevo? 4
5. El revisor dos dice que necesitas otro experimento: Figure 2: Revisor dos mirándote con desdén • No tienes una bitácora. 5
6. El revisor dos dice que necesitas otro experimento: Figure 2: Revisor dos mirándote con desdén • No tienes una bitácora. • No recuerdas cómo hiciste el análisis. 5
7. El revisor dos dice que necesitas otro experimento: Figure 2: Revisor dos mirándote con desdén • No tienes una bitácora. • No recuerdas cómo hiciste el análisis. • Vuelves a correr como puedes. 5
8. El revisor dos dice que necesitas otro experimento: Figure 2: Revisor dos mirándote con desdén • No tienes una bitácora. • No recuerdas cómo hiciste el análisis. • Vuelves a correr como puedes. • El análisis no coincide. 5
9. Ambos son escenarios posibles que pueden ocurrirte y debes estar preparado para ellos: • Respalda tu trabajo. 6
10. Ambos son escenarios posibles que pueden ocurrirte y debes estar preparado para ellos: • Respalda tu trabajo. • Respalda tus datos. 6
11. Si inviertes tiempo en tu bitácora digital y automatización puedes ahorrarte esos problemas. • Un poco de disciplina ahorra mucho trabajo. 7
12. Si inviertes tiempo en tu bitácora digital y automatización puedes ahorrarte esos problemas. • Un poco de disciplina ahorra mucho trabajo. • La diferencia de productividad se debe a los hábitos. 7
13. Si inviertes tiempo en tu bitácora digital y automatización puedes ahorrarte esos problemas. • Un poco de disciplina ahorra mucho trabajo. • La diferencia de productividad se debe a los hábitos. • Siempre puedes replicar tu análisis. 7
14. Cómo transformar los datos crudos de tu experimento en la información que contesta tu pregunta.
15. Generalmente hay que armar un rompecabezas antes de poder analizar los datos. Los datos normalmente son: • Intensidad luminosa. • Cambio de pH. Queremos transformarlos a: • Secuencias de ADN. • Genomas / Genes / Transcritos. 8
16. Antes de armar el rompecabezas debemos eliminar las piezas defectuosas (preproceso). • Identificar la naturaleza de los datos crudos. Figure 3: ¿Alguien notó que hay una mano en mis datos crudos? 9
17. Antes de armar el rompecabezas debemos eliminar las piezas defectuosas (preproceso). • Identificar la naturaleza de los datos crudos. • Eliminar la información problemática. Figure 3: ¿Alguien notó que hay una mano en mis datos crudos? 9
18. Antes de armar el rompecabezas debemos eliminar las piezas defectuosas (preproceso). • Identificar la naturaleza de los datos crudos. • Eliminar la información problemática. • Transformar los datos al formato requerido. Figure 3: ¿Alguien notó que hay una mano en mis datos crudos? 9
19. Al armar el rompecabezas podemos darnos cuenta de nuevos problemas en la información si hacemos un análisis descriptivo: • Sesgos del experimento. 10
20. Al armar el rompecabezas podemos darnos cuenta de nuevos problemas en la información si hacemos un análisis descriptivo: • Sesgos del experimento. • Datos faltantes. 10
21. Al armar el rompecabezas podemos darnos cuenta de nuevos problemas en la información si hacemos un análisis descriptivo: • Sesgos del experimento. • Datos faltantes. • Muestras sin información relevante. 10
22. Con los resultados del análisis descriptivo podemos: • Decidir la estrategia de normalización. 11
23. Con los resultados del análisis descriptivo podemos: • Decidir la estrategia de normalización. • Seleccionar un método de análisis. 11
24. Con los resultados del análisis descriptivo podemos: • Decidir la estrategia de normalización. • Seleccionar un método de análisis. • Verificar los supuestos del análisis. 11
25. Con los resultados del análisis descriptivo podemos: • Decidir la estrategia de normalización. • Seleccionar un método de análisis. • Verificar los supuestos del análisis. • Sólo entonces podemos estar seguros de que el análisis es correcto. 11
26. Actividad 1: Hacer un diagrama del flujo de trabajo bioinformático: Figure 4: Sin importar qué gestor de trabajo usemos, esta gráfica nos va a servir. • Identificar el objetivo al que queremos llegar. 12
27. Actividad 1: Hacer un diagrama del flujo de trabajo bioinformático: Figure 4: Sin importar qué gestor de trabajo usemos, esta gráfica nos va a servir. • Identificar el objetivo al que queremos llegar. • Dividir el proceso en etapas. 12
28. Actividad 1: Hacer un diagrama del flujo de trabajo bioinformático: Figure 4: Sin importar qué gestor de trabajo usemos, esta gráfica nos va a servir. • Identificar el objetivo al que queremos llegar. • Dividir el proceso en etapas. • Usar objetos en nodos y procesos en flechas. 12
29. Actividad 1: Hacer un diagrama del flujo de trabajo bioinformático: Figure 4: Sin importar qué gestor de trabajo usemos, esta gráfica nos va a servir. • Identificar el objetivo al que queremos llegar. • Dividir el proceso en etapas. • Usar objetos en nodos y procesos en flechas. • Cada flecha es un script. 12
30. Sin importar qué tan bien hecho esté el plan, siempre habrá errores en el desarrollo y cosas no consideradas que nos harán reprocesar (Osborne et al. 2014). Para minimizar problemas en el desarrollo de los proyectos: • Avanzar en pasos pequeños. 13
31. Sin importar qué tan bien hecho esté el plan, siempre habrá errores en el desarrollo y cosas no consideradas que nos harán reprocesar (Osborne et al. 2014). Para minimizar problemas en el desarrollo de los proyectos: • Avanzar en pasos pequeños. • Validar que cada paso funciona antes de continuar. 13
32. Sin importar qué tan bien hecho esté el plan, siempre habrá errores en el desarrollo y cosas no consideradas que nos harán reprocesar (Osborne et al. 2014). Para minimizar problemas en el desarrollo de los proyectos: • Avanzar en pasos pequeños. • Validar que cada paso funciona antes de continuar. • Tomar una foto del pequeño paso. 13
33. El proceso que sigo para automatizar mi experimento es: • Probar los comandos a mano. 14
34. El proceso que sigo para automatizar mi experimento es: • Probar los comandos a mano. • Generar scripts para ejecutar los comandos. 14
35. El proceso que sigo para automatizar mi experimento es: • Probar los comandos a mano. • Generar scripts para ejecutar los comandos. • Automatizar la secuencia de los comandos. 14
36. El proceso que sigo para automatizar mi experimento es: • Probar los comandos a mano. • Generar scripts para ejecutar los comandos. • Automatizar la secuencia de los comandos. • Integrar con un gestor de trabajos. 14
37. Todos los comandos que vas a ejecutar más de una vez escríbelos en un script (Osborne et al. 2014) • Trabajar más ahora para trabajar menos en total. 15
38. Todos los comandos que vas a ejecutar más de una vez escríbelos en un script (Osborne et al. 2014) • Trabajar más ahora para trabajar menos en total. • El script debe resolver una única tarea. 15
39. Todos los comandos que vas a ejecutar más de una vez escríbelos en un script (Osborne et al. 2014) • Trabajar más ahora para trabajar menos en total. • El script debe resolver una única tarea. • Realizar los análisis siempre con un script. 15
40. Pero no uses los scripts para controlar la secuencia. • Hay mejores herramientas para controlar el flujo de trabajo. Figure 5: Ejemplo de un script que crecerá en complejidad innecesariamente 16
41. Una buena herramienta para controlar el flujo de trabajo puede rehacer el análisis cuando algo cambia. Figure 6: Si cambia A, se rehace el análisis automáticamente. 17
42. Cuando usas comandos que piensas que no vas a volver a usar, regístralos en una bitácora (Osborne et al. 2014) • Git es un buen lugar. 18
43. Cuando usas comandos que piensas que no vas a volver a usar, regístralos en una bitácora (Osborne et al. 2014) • Git es un buen lugar. • Lo vas a necesitar. 18
44. Cómo elegir las herramientas para cada etapa de análisis.
45. He desarrollado muchas herramientas inapropiadas y difíciles de mantener. Figure 7: Este es solo uno de los ejemplos. 19
46. Los criterios que uso para seleccionar la herramienta en cada etapa del análisis: • Aplica al análisis que estamos haciendo. 20
47. Los criterios que uso para seleccionar la herramienta en cada etapa del análisis: • Aplica al análisis que estamos haciendo. • Es fácil de instalar. 20
48. Los criterios que uso para seleccionar la herramienta en cada etapa del análisis: • Aplica al análisis que estamos haciendo. • Es fácil de instalar. • Tiene buena documentación. 20
49. Los criterios que uso para seleccionar la herramienta en cada etapa del análisis: • Aplica al análisis que estamos haciendo. • Es fácil de instalar. • Tiene buena documentación. • Tiene soporte. 20
50. Los criterios que uso para seleccionar la herramienta en cada etapa del análisis: • Aplica al análisis que estamos haciendo. • Es fácil de instalar. • Tiene buena documentación. • Tiene soporte. • Puedo usarla donde haré el análisis. 20
51. Actividad 2: Para la primera etapa de análisis hacer una lista de posibles herramientas. A partir de los artículos que leímos, rellenar el listado de herramientas: • Nombre de la herramienta. 21
52. Actividad 2: Para la primera etapa de análisis hacer una lista de posibles herramientas. A partir de los artículos que leímos, rellenar el listado de herramientas: • Nombre de la herramienta. • Artículo de la herramienta. 21
53. Actividad 2: Para la primera etapa de análisis hacer una lista de posibles herramientas. A partir de los artículos que leímos, rellenar el listado de herramientas: • Nombre de la herramienta. • Artículo de la herramienta. • Objetivo de la herramienta. 21
54. Actividad 2: Para la primera etapa de análisis hacer una lista de posibles herramientas. A partir de los artículos que leímos, rellenar el listado de herramientas: • Nombre de la herramienta. • Artículo de la herramienta. • Objetivo de la herramienta. • Buscar si tiene soporte en internet. 21
55. Actividad 2: Para la primera etapa de análisis hacer una lista de posibles herramientas. A partir de los artículos que leímos, rellenar el listado de herramientas: • Nombre de la herramienta. • Artículo de la herramienta. • Objetivo de la herramienta. • Buscar si tiene soporte en internet. • Buscar si puede instalarse directamente. 21
56. Actividad 2: Para la primera etapa de análisis hacer una lista de posibles herramientas. A partir de los artículos que leímos, rellenar el listado de herramientas: • Nombre de la herramienta. • Artículo de la herramienta. • Objetivo de la herramienta. • Buscar si tiene soporte en internet. • Buscar si puede instalarse directamente. • Buscar la documentación. 21
57. El material de este módulo está basado en: Osborne, James M., Miguel O. Bernabeu, Maria Bruna, Ben Calderhead, Jonathan Cooper, Neil Dalchau, Sara-Jane Dunn, et al. 2014. “Ten Simple Rules for Effective Computational Research.” Edited by Philip E. Bourne. PLoS Computational Biology 10 (3): e1003506. https://doi.org/10.1371/journal.pcbi.1003506. 22