使用北鯤云在AWS上運(yùn)行基因分析HPC任務(wù)

背景

近三十年來(lái)，生命科學(xué)與計(jì)算科學(xué)飛速發(fā)展。生物信息學(xué)是一門(mén)生命科學(xué)與計(jì)算科學(xué)的前沿交叉學(xué)科。生物信息學(xué)產(chǎn)生和迅猛發(fā)展的主要推動(dòng)力來(lái)自于新一代測(cè)序等高通量技術(shù)在生命科學(xué)領(lǐng)域越來(lái)越廣泛的應(yīng)用。 基因組學(xué)是這一趨勢(shì)的一個(gè)主要例子，其中高通量下一代測(cè)序 (NGS) 設(shè)備被用于對(duì) DNA、mRNA、調(diào)控區(qū)域、腸道微生物組等進(jìn)行測(cè)序。計(jì)算工作流程也在快速開(kāi)發(fā)和標(biāo)準(zhǔn)化，并且支持動(dòng)態(tài)進(jìn)行擴(kuò)展。隨著大量基因組數(shù)據(jù)的收集，處理時(shí)間通常在數(shù)十億核心小時(shí)的數(shù)量級(jí)，處理成本也相應(yīng)增加。因此，客戶(hù)正在尋找運(yùn)行時(shí)間最短、成本最低的優(yōu)化工具和系統(tǒng)。通常清況下有2種方式可供選擇。 第一種是建設(shè)本地計(jì)算集群。一方面建設(shè)本地大型計(jì)算集群成本昂貴，同時(shí)峰值負(fù)載的能力有限，項(xiàng)目的周期也相對(duì)較長(zhǎng)，前期成本投入很大。第二種是構(gòu)筑云上的HPC平臺(tái)。利用云資源可以快速構(gòu)建云上HPC平臺(tái)，云上還提供了最新技術(shù)和資源的快速訪問(wèn)，包括最新加速卡或減少計(jì)算所需時(shí)間的最新一代處理器。通過(guò)選擇合適的實(shí)例類(lèi)型，可以縮短總體計(jì)算時(shí)間。

在這篇博文中，我們將展示如何利用北鯤云HPC平臺(tái)在AWS運(yùn)行運(yùn)行基因分析HPC任務(wù)。

概述

本指南將向您展示如何通過(guò)北鯤云控制臺(tái)啟動(dòng)基于Amazon EC2構(gòu)建的slurm集群，該集群提供有一個(gè)登錄節(jié)點(diǎn)，您可以在此節(jié)點(diǎn)上通過(guò)簡(jiǎn)單配置結(jié)合AWS S3存儲(chǔ)快速投遞多個(gè)基因分析任務(wù)。

前置條件

在開(kāi)始使用北鯤云平臺(tái)之前您需要做下面準(zhǔn)備：

1.擁有訪問(wèn)指定S3 bucket權(quán)限的1對(duì)AWS AK/SK。

2.用于存放計(jì)算輸入文件的S3 bucket。

3.用于存放計(jì)算結(jié)果文件的S3 bucket,也可以使用輸入文件bucket的不同目錄作為區(qū)分。

您可以通過(guò)AWS S3控制臺(tái)來(lái)快速創(chuàng)建S3 bucket并上傳輸入文件，如果已有bucket可跳過(guò)此步驟。這是一個(gè)簡(jiǎn)單的過(guò)程，僅涉及四個(gè)步驟：

1. 登錄AWS S3控制臺(tái)。

2. 創(chuàng)建s3 bucket。

3. 設(shè)置bucket權(quán)限，推薦私有讀寫(xiě)或者使用S3 bucket ACL策略進(jìn)行更細(xì)粒度控制。

通過(guò)ACL限制只有指定的IAM角色ROLENAME可以訪問(wèn)指定bucket下的資源（可選步驟）：

4. 上傳輸入文件。

任務(wù)整體流程

用戶(hù)只需要準(zhǔn)備好存放輸入和輸出文件的s3 bucket即可，無(wú)需關(guān)心集群內(nèi)部調(diào)度細(xì)節(jié)，非常容易上手使用。

注冊(cè)并登錄北鯤云控制臺(tái)

您可能需要先注冊(cè)北鯤云賬號(hào)，賬號(hào)注冊(cè)后聯(lián)系客服可以獲得200算力金。

創(chuàng)建Workspace

Workspace是北鯤云為您在AWS上創(chuàng)建的一片虛擬空間，對(duì)應(yīng)了AWS的某個(gè)region，后續(xù)使用的AWS相關(guān)服務(wù)和資源都在這個(gè)region下進(jìn)行配置。

您需要先將賬號(hào)免費(fèi)升級(jí)到企業(yè)版才能使用此功能，請(qǐng)聯(lián)系我們！

您需要選擇數(shù)據(jù)存放相同的地域創(chuàng)建Workspace，選擇相同地域的好處是數(shù)據(jù)在AWS EC2上和S3之間上傳下載可以使用內(nèi)網(wǎng)進(jìn)行訪問(wèn)，速度更快而且更加安全。

支持免費(fèi)創(chuàng)建多個(gè)Workspace以支持不同的研發(fā)團(tuán)隊(duì)使用就近的AWS資源。

創(chuàng)建并登錄集群登錄節(jié)點(diǎn)

登錄到北鯤云控制臺(tái)后，首先要選擇與您數(shù)據(jù)存放地域一致或相鄰的Workspace, 后續(xù)使用的EC2集群及其他資源都在此地域下進(jìn)行配置。

可通過(guò)webssh方式通過(guò)瀏覽器直接登錄，也可以通過(guò)xShell等其他連接工具連接到集群登錄節(jié)點(diǎn)內(nèi)部。

集群登錄節(jié)點(diǎn)內(nèi)部已內(nèi)置虛擬用戶(hù)，可用于提交基因分析任務(wù)。

配置AWS AK/SK

AWS CLI 將使用 aws configure 指定的敏感憑證信息存儲(chǔ)在主目錄中名為 credentials 的文件夾中名為 .aws 的本地文件中。

在集群登錄節(jié)點(diǎn)內(nèi)根據(jù)提示輸入AK/SK進(jìn)行快速配置。

```

aws configure

```

特別申明：北鯤云不會(huì)在未經(jīng)用戶(hù)授權(quán)的情況下訪問(wèn)用戶(hù)的EC2，也不會(huì)獲取用戶(hù)的數(shù)據(jù)，用戶(hù)在使用平臺(tái)前需要簽署電子版法律協(xié)議。

準(zhǔn)備作業(yè)腳本

大部分計(jì)算所需要的軟件在平臺(tái)上已經(jīng)預(yù)裝好，IT人員不需要安裝和配置軟件運(yùn)行環(huán)境，缺少您想要的軟件請(qǐng)點(diǎn)擊這里。

以常用的序列對(duì)比軟件blast+為例：

使用vim編輯器編寫(xiě)您的作業(yè)計(jì)算腳本

```

vim job.sbatch

#!/bin/bash

#SBATCH --job-name=example //作業(yè)名稱(chēng)

#SBATCH --partition c-64-1 //硬件類(lèi)型 64核64G

#SBATCH --ntasks=64 //任務(wù)數(shù)量

#從s3下載您的輸入文件

aws s3 cp --quiet s3://genomics-cloudam/input.tar.gz /home/cloudam/

tar -zxvfinput.tar.gz

#加載軟件blast+

module addBLAST+/2.2.31

#提交blast+計(jì)算任務(wù) 相關(guān)參數(shù)需要替換為實(shí)際參數(shù)值

blastx -i -o -num_threads

#將結(jié)果文件打包上傳至s3

tar -zcvfresult.tar.gz /home/cloudam/result

aws s3 cp --quiet/home/cloudam/result.tar.gz s3://genomics-cloudam/

```

提交作業(yè)

```

sbatch job.sbatch

```

作業(yè)結(jié)束后，將會(huì)進(jìn)行后置處理，結(jié)果將被寫(xiě)入到s3 bucket內(nèi)，閑置的EC2服務(wù)器將被銷(xiāo)毀并立即停止計(jì)費(fèi)。

恭喜！您已使用北鯤云HPC平臺(tái)在 AWS上成功運(yùn)行基因分析任務(wù)。還有更多的功能等待您來(lái)探索。

北鯤云平臺(tái)和AWS ParallelCluster的對(duì)比

結(jié)論

在這篇博文中，我們演示了如何使用北鯤云平臺(tái)在AWS來(lái)提交基因分析任務(wù)?？焖僭L問(wèn)北鯤云用戶(hù)手冊(cè)并親自試用演示。有關(guān)北鯤云的更多信息，請(qǐng)查看主頁(yè)和文檔。

審核編輯 黃昊宇