使用 Spark 計算 Differential Expression

Transcript

1. 使用 Spark 計算 Differential Expression Jian-Long Huang 2015/11/26
2. [分析] 同一個RNA序列檔，可任選其中兩個 conditions 進行 differential analysis (最 好能擴展成任選兩個 groups of conditions) 輸出 gene list。
3. Yeast 基因表現檔 Group Condition File 1 eXpress-66.txt 1 eXpress-67.txt 1 eXpress-68.txt 2 eXpress-69.txt 2 eXpress-70.txt 2 eXpress-71.txt
4. 寫個 script 分析？
5. 程式分析流程 1. 建立 gene name, group, condition 和 expression value 的對應表。 2. 根據每條 gene，計算： a. c1 = merge(c1-1 to c1-3), c2 = merge(c2-1 to c2-3) b. de = diff(c1, c2) 3. 輸出符合 de > t1 or de < t2 的 gene。
6. gene_name group (condition) file_id fpkm YNL087W 1 66 1.175314e+02 YNL087W 1 67 1.357084e+02 YNL087W 1 68 1.268189e+02 YNL087W 2 69 6.900545e+01 YNL087W 2 70 6.410089e+01 YNL087W 2 71 6.238413e+01
7. 問題？ • 計算速度慢 ◦ 無法即時查詢 ◦ 過濾條件隨時更改 • 對記憶體資源掌控差
8. Apache Spark • 開源叢集運算框架。 • 最初由加州大學柏克萊分校AMPLab所開發，後捐贈 Apache 基金會。 • 使用記憶體內運算技術，將中間結果保存在記憶體內進行分析運算。 • 提供高階 API （Scala, Java, Python and R) 進行程式設計。 • 提供交互式 Scala, Python shell。
9. Resilient Distributed Dataset (RDD) 彈性分散式資料集 • 一種抽象資料結構，任何資料在 Spark 中都被表示為 RDD • 分散式記憶體，資料分散儲存在多個機器上面。 • 具備高階函數如 filter, map, reduce，可以進行併行操作。 • RDD 建立方法 ◦ 從已存在 RDD 建立 ◦ 從文件系統或 HDFS 的文件建立
10. filter v1, v2, v3, v4, v5 func(x) => true/false v1, v3, v5
11. map v1, v2, v3, v4, v5 func(x) => x’ v1’, v2’, v3’, v4’, v5’
12. reduceByKey (k1, v1) (k1, v2) (k1, v3) (k2, v1) (k2, v2) (k3, v1) (k3, v2) func(x, y) => z (k1, u) (k2, u) (k3, u)
13. aggregateByKey (k1, v1) (k1, v2) (k2, v1) (k2, v2) (k3, v1) (k3, v2) 1st: seqOp(zeroValue, y) => z next: seqOp(x, y) => z combOp(x, y) => z zeroValue (starting value) (k1, u) (k2, u) (k3, u) Combine partitions Combine values in a partition
14. reduceByKey vs. aggregateByKey • aggregateByKey 可以設定初始值，且返回值的類型不需要和 RDD 中 value 的 類型一致，但 reduceByKey 返回值類型需要一致。 • 用途： ◦ reduceByKey 適用於值與值之間計算不需要按順序，如連乘、連加。 ◦ aggregateByKey 適用於需利用多個值之計算，如計算平均需要 sum 和 count 兩種值。
15. mapValues (k1, v1) (k1, v2) (k2, v1) (k2, v2) func(x) => x’ (k1, v1’) (k1, v2’) (k2, v1’) (k2, v2’)
16. join (k1, v1) (k1, v2) (k2, v3) (k2, v4) (k1, u1) (k1, u2) (k2, u3) (k3, u4) join (k1, (v1, u1)) (k1, (v1, u2)) (k1, (v2, u1)) (k1, (v2, u2)) (k2, (v3, u3)) (k2, (v4, u3))
17. Other RDD Actions • count(): 返回 elements 數量 • first(): 返回第一個 element • take(n): 返回前 n 個 element • collect(): 返回陣列類型值
18. File Spark workflow 1: FPKM average in a condition line1 line2 line3 line4 line5 File File (YNL087W, 1.175314e+02) (YKR061W, 3.579905e+01) (YOR316C-A, 3.258783e+01) (YGR274C, 2.608256e+02) (YER126C, 2.694234e+01) filter, map (YNL087W, (380.05, 3)) (YKR061W, (78.57, 3)) (YOR316C-A, (0.0, 3)) (YGR274C, (101.61, 3)) (YER126C, (771.36, 3)) aggregateByKey (YNL087W, 126.68) (YKR061W, 26.19) (YOR316C-A, 0.0) (YGR274C, 33.87) (YER126C, 257.12) mapValues 計算 FPKM 總和 和 condition 數 移除 header，輸 出 name-fpkm pair 計算 FPKM 平均
19. Spark workflow 2: Differential expression (YNL087W, 126.68) (YKR061W, 26.19) (YOR316C-A, 0.0) (YGR274C, 33.87) (YER126C, 257.12) (YNL087W, 77.68) (YKR061W, 31.19) (YOR316C-A, 2.1) (YGR274C, 34.87) (YER126C, 259.12) join (YNL087W, (126.68, 77.68)) (YKR061W, (26.19, 31.19)) (YOR316C-A, (0.0, 2.1)) (YGR274C, (33.87, 34.87)) (YER126C, (257.12, 559.12)) (YNL087W, 1.63) (YKR061W, 0.83) (YOR316C-A, 0) (YGR274C, 0.97) (YER126C, 0.45) mapValues (YER126C, 0.45) filter 計算 differential expression (fpkm1 / fpkm2) 合併兩個 group 移除沒有差異 表現的結果
20. 安裝 Spark 和 IPython Notebook • docker-spark • docker run -it -p 8088:8088 -p 8042:8042 -p 8080:8080 -h mr-spark --name mr-spark -v /home/jlhg/mapreduce:/share sequenceiq/spark:1.5.1 bash • Container 內建 Python 版本為 2.6，用 pyenv 安裝 Python 2.7 • 安裝 IPython：pip install ipython[all] • 啟動 IPython Notebook：IPYTHON_OPTS="notebook --ip=mr-spark -- port=8080" /usr/local/spark/bin/pyspark • Web UI: http://<host_ip>:8080
21. Example script spark-de.py: https://gist.github.com/jlhg/56a3d833a7cc4ce3238c # Put yeast data to HDFS $ hdfs dfs -put /share/yeast # Submit spark task $ spark-submit /share/spark-de.py
22. 參考資料 • Spark Quick Start (Official) • Spark Programming Guide (Official) • Spark 編程指南繁體中文版 • Spark RDD API详解(一) Map和Reduce • How to more efficiently calculate the averages for each KEY in a Pairwise (K, V) RDD in Apache Spark with Python • Spark函数讲解：aggregateByKey • 在Docker上用 IPython 開發 Spark的環境建置