ライフサイエンス研究を加速する~SPCS JobサービスとGPUコンテナの使い方~

帰ってきたSPCS活用最新事例LT祭：再び解き放て、Snowpark Container Servicesの力！https://techplay.jp/event/987932

Transcript

1. ライフサイエンス研究を加速する SPCS JobサービスとGPUコンテナの使い方 koreeda
2. 2 自己紹介 名前 是枝達也 略歴 株式会社GA technologies クリニックフォアグループ バイオインフォマティシャン 資格・アワード SnowPro Core Snowflake Squad 2024,2025 活動 SnowVillage Mayors Snowflake ヘルスケア UG リーダー Snowflake WEST UG リーダー
3. 3 第一回も登壇させていただきました
4. ライフサイエンス研究とは 「生命とは何か」「生命はどう働くのか」解き明かす学問 「病気を予防する」、「病気になっても早く見つけて治療をする」ために研究される 病気の予防 病気の治療 創薬 ゲノム・遺伝子解 析 医療の充実
5. ヒトのゲノムデータのサイズ ヒトのゲノムデータの一 人あたりのサイズ ＝ 100〜200 GB
6. ヒトのゲノムデータのサイズ ヒトのゲノムデータの一 人あたりのサイズ ＝ 100〜200 GB 文字列だけの情報で 100GB近くある
7. ゲノムデータ解析における課題 100〜200 GB ヒトのゲノムデータ 大規模なゲノムデータを効率的に処理する基盤づくりが重要 臨床・治験を成り立たせるための 数十万人規模のゲノムデータ が必要 ✕
8. Case 1: Nextflow バイオインフォマティクスパイプラインのオーケストレーション
9. Nextflow ゲノム解析など計算量が大きいバイオインフォマティクス用に特化した、再現性の高いパイプライン を作るためのワークフローエンジン。並列処理や GPUでの処理を得意とする。
10. nf-snowflake SnowflakeでNextflowを使うための公式プラグイン。 Snowflake-Labsが公式サポートしている
11. params.sra_list = "ids.txt" params.outdir = "results" process FASTQ_DUMP { tag "$sra_id" container 'biocontainers/sra-tools:2.10.0' input: val sra_id output: tuple val(sra_id), path("*.fastq.gz"), emit: reads script: """ fastq-dump --gzip --split-files ${sra_id} """ } process FASTQC { tag "$sra_id" container 'biocontainers/fastqc:v0.11.9_cv8' publishDir "${params.outdir}/fastqc_individual", mode: 'copy' input: tuple val(sra_id), path(reads) output: path "*.html" path "*.zip" script: """ fastqc -q ${reads} """ } workflow { Channel .fromPath(params.sra_list) .splitText() .map { it.trim() } .set { sra_ch } dump_ch = FASTQ_DUMP(sra_ch) FASTQC(dump_ch.reads) } Nextflowファイル：main.nf nf-snowflakeプラグイン nextflow.config nf-snowflakeの使い方
12. SPCS jobのspec定義 ・volumeMountsに input/output/workdirを指定 ・各種volumeにNXF_INPUT, RESULTS, WORKDIR）といっ た形でステージを割り当てる
13. Demo
14. https://github.com/Snowflake-Labs/nf-snowflake/issues/15 （余談）Snowflake社員の方に手厚くサポートしていただきました
15. Case 1: NVIDIA Parabricks SPCS Job + GPUコンテナによるゲノム解析
16. ヒトのゲノムデータが解析可能になるまでの処理時間 100〜200 GB ヒトのゲノムデータ ＝ 2~8時間
17. NVIDIA Parabricks 【概要】 ・NVIDIAによるGPUによる並列計算でゲノム解析を劇的に高速化するソフト ウェア ・CPU比で最大約 40倍の高速化を実現 【欠点】 ・研究者が GPUを用意する方法が限定的（クラウドに精通した方が少ない） 　・企業の研究者はスーパーコンピュータを使うことが難しい 高速だが、 GPU環境を用意するのがむずい
18. 18 ゲノム解析に SPCSを使うメリット わずか1コマンドで GPUコンピュートプールが作成できるところが非常に簡便
19. SPCS Job で Parabricks を実行 Gemone Stage ゲノムファイル Parabricks image Results Stage SPCS job （GPU）
20. Demo
21. まとめ ・SPCS job はかなり便利 ・ライフサイエンス研究において SPCSは強力な武器になりうる ・NextflowやParabricksを組み合わせることで高速なゲノミクス解析が可能にな りつつある
22. 今日の発表の Zennの記事
23. ご清聴ありがとうございました