ライフサイエンス研究を加速する~SPCS JobサービスとGPUコンテナの使い方~

ライフサイエンス研究を加速する SPCS JobサービスとGPUコンテナの使い方 koreeda

2 自己紹介名前是枝達也略歴株式会社GA technologies クリニックフォアグループバイオインフォマティシャン資格・アワード
SnowPro Core Snowflake Squad 2024,2025 活動 SnowVillage Mayors Snowflake ヘルスケア UG リーダー Snowflake WEST UG リーダー

3 第一回も登壇させていただきました

ライフサイエンス研究とは「生命とは何か」「生命はどう働くのか」解き明かす学問「病気を予防する」、「病気になっても早く見つけて治療をする」ために研究される病気の予防病気の治療創薬ゲノム・遺伝子解析医療の充実

ヒトのゲノムデータのサイズヒトのゲノムデータの一人あたりのサイズ＝ 100〜200 GB

ヒトのゲノムデータのサイズヒトのゲノムデータの一人あたりのサイズ＝ 100〜200 GB 文字列だけの情報で 100GB近くある

ゲノムデータ解析における課題 100〜200 GB ヒトのゲノムデータ大規模なゲノムデータを効率的に処理する基盤づくりが重要臨床・治験を成り立たせるための数十万人規模のゲノムデータが必要 ✕

Case 1: Nextﬂow バイオインフォマティクスパイプラインのオーケストレーション

Nextflow ゲノム解析など計算量が大きいバイオインフォマティクス用に特化した、再現性の高いパイプラインを作るためのワークフローエンジン。並列処理や GPUでの処理を得意とする。

nf-snowflake SnowflakeでNextflowを使うための公式プラグイン。 Snowflake-Labsが公式サポートしている

params.sra_list = "ids.txt" params.outdir = "results" process FASTQ_DUMP { tag
"$sra_id" container 'biocontainers/sra-tools:2.10.0' input: val sra_id output: tuple val(sra_id), path("*.fastq.gz"), emit: reads script: """ fastq-dump --gzip --split-files ${sra_id} """ } process FASTQC { tag "$sra_id" container 'biocontainers/fastqc:v0.11.9_cv8' publishDir "${params.outdir}/fastqc_individual", mode: 'copy' input: tuple val(sra_id), path(reads) output: path "*.html" path "*.zip" script: """ fastqc -q ${reads} """ } workflow { Channel .fromPath(params.sra_list) .splitText() .map { it.trim() } .set { sra_ch } dump_ch = FASTQ_DUMP(sra_ch) FASTQC(dump_ch.reads) } Nextflowファイル：main.nf nf-snowflakeプラグイン nextflow.config nf-snowflakeの使い方

SPCS jobのspec定義・volumeMountsに input/output/workdirを指定・各種volumeにNXF_INPUT, RESULTS, WORKDIR）といった形でステージを割り当てる

https://github.com/Snowflake-Labs/nf-snowflake/issues/15 （余談）Snowflake社員の方に手厚くサポートしていただきました

Case 1: NVIDIA Parabricks SPCS Job + GPUコンテナによるゲノム解析

ヒトのゲノムデータが解析可能になるまでの処理時間 100〜200 GB ヒトのゲノムデータ＝ 2~8時間

NVIDIA Parabricks 【概要】・NVIDIAによるGPUによる並列計算でゲノム解析を劇的に高速化するソフトウェア・CPU比で最大約 40倍の高速化を実現【欠点】・研究者が GPUを用意する方法が限定的（クラウドに精通した方が少ない）
　・企業の研究者はスーパーコンピュータを使うことが難しい高速だが、 GPU環境を用意するのがむずい

18 ゲノム解析に SPCSを使うメリットわずか1コマンドで GPUコンピュートプールが作成できるところが非常に簡便

SPCS Job で Parabricks を実行 Gemone Stage ゲノムファイル Parabricks image
Results Stage SPCS job （GPU）

まとめ・SPCS job はかなり便利・ライフサイエンス研究において SPCSは強力な武器になりうる・NextflowやParabricksを組み合わせることで高速なゲノミクス解析が可能になりつつある

今日の発表の Zennの記事

ご清聴ありがとうございました

ライフサイエンス研究を加速する~SPCS JobサービスとGPUコンテナの使い方~

ライフサイエンス研究を加速する~SPCS JobサービスとGPUコンテナの使い方~

Tatsuya Koreeda

More Decks by Tatsuya Koreeda

Featured

Transcript