NGS数据分析的捷径:云计算[新品推荐]

【字体: 时间:2014年04月22日 来源:生物通

编辑推荐:

  测序完成了?这真是个好消息。不过别高兴地太早,更艰巨的工作在等着你呢。数据分析,也不是一项轻松的任务。对于这个问题,传统的解决方案是将存储和计算分析的工作交给计算机集群,但这是许多研究人员无法企及的。如今,越来越多的研究人员选择了另一条道路。他们利用Dropbox和Gmail的服务,将他们的工作移至云端。

测序完成了?这真是个好消息。不过别高兴地太早,更艰巨的工作在等着你呢。数据分析,也不是一项轻松的任务。

单个人类基因组的原始数据集大约在几百Gb的数量级,而许多研究涉及数十个甚至数百个样品。光是移动这样一个数据集,就明显超过了一部台式机或笔记本电脑的能力,更不用说处理与分享了。

对于这个问题,传统的解决方案是将存储和计算分析的工作交给计算机集群,但这是许多研究人员无法企及的。如今,越来越多的研究人员选择了另一条道路。他们利用Dropbox和Gmail的服务,将他们的工作移至云端。

云端新选择

也许有人想建立自己的计算机集群和存储阵列,来处理自己的生物信息学数据。这并非不行,但既不简单,也不便宜。首先在于硬件本身,集群需要几十台至几百台计算机同时运行。你还需要一个地方来存放这些计算机,驱动它们的软件,连接它们的网络设备以及运行和冷却的电力。

据耶鲁大学生物医学信息学的Mark Gerstein教授估计,每年运行这样一个集群的电费大约在30,000至40,000美元。

在集群运行后,还需要维护,这意味着硬件必须更换和升级,软件需要打补丁。你可能需要一位训练有素的IT人员来维护这一切。费用又会迅速飙升。

基于云计算的生物信息学平台让大多数问题消失不见。Illumina公司企业信息学事业部主任Jordan Stockton表示:“获取、安装和编译软件就变得无关紧要。我们为那些不打算或无法雇用IT人员的人们提供技术。”

在云计算环境中,用户基本上是租用一个虚拟的集群。建立在大规模的云计算设施之上,如亚马逊网络服务或谷歌云平台,系统资源可按照需要扩大或缩小;用户只需要为他们使用的CPU时间和存储付费。他们可上传自己的数据,或从其他的外部资源转移过来,包括公共和私人的数据库。其他所有的因素,包括硬件维护、安全性、用户访问等,都由服务供应商来处理,这样用户就能专注于自己的工作。

DNAnexus的CEO Dick Daly解释说:“云计算的优势在于它完全可变的容量。这就像水;你可以填满一个游泳池,也可以只要一杯。你不用在前期决定你需要多少基础设施。”

云计算平台

然而,云端的工作也不容易。它需要特殊的计算知识来利用这种云环境中提供的计算和存储资源。商业化及免费的系统可简化这一任务。

与许多系统一样,DNAnexus在亚马逊云平台上运行。Daly解释道,这既是一个平台,也是一种服务。用户可通过命令行界面运行他们想要的任何生物信息学工具,也可在用户友好的界面上尝试预先定义的流程,如定位和变异检出。“你可以上传任何类型的文件,并以你想要的任何方式分析它,”Daly说。基本上,如果你能够在计算机上让软件运行,那么它也能在云端运行,不过可能需要一些优化。用户还可以在安全的平台上与同事共享这些数据和流程。

Illumina的BaseSpace®信息学平台也是建立在亚马逊的云端。BaseSpace接受Illumina测序仪的数据,并以用户友好的界面提供一系列分析工具,包括基因组浏览器、比对工具和变异检出工具。

Illumina将BaseSpace比喻成“苹果商店”,同时提供Illumina和第三方的工具。据Stockton介绍,该公司目前有25款app,包括DNASTAR的SeqMan NGen,用于细菌的de novo组装;Illumina的BWA/GATK,用于比对和变异检出;以及Broad研究院的IGV(Integrative Genomics Viewer)。目前,BaseSpace存储是免费的,不过Illumina已宣布了定价的时间表,其中第一个TB免费,之后是1 TB每月250美元,或10 TB每月1500美元。App是免费或收费的,其费用按每次运行或每个数据量来评估。

了解BaseSpace平台的更多信息

CloudBioLinux也在亚马逊上运行,而且是免费和开源的,不过用户要承担使用费。它是个定制的亚马逊机器映像(AMI),预装了生物信息学工具。“目标是让一些人能以最小的开销进行生物信息学工作,”哈佛大学公共卫生学院的研究科学家Brad Chapman解释道,他为项目开发做出了贡献。不过他也提到,CloudBioLinux是一个适用于高级用户的工具。“它是针对开发人员和生物信息学家的,而不是生物学家。”

现实状况

据Gerstein介绍,基于云计算的信息学反映了新一代测序市场的现实。几年前,测序相对昂贵,而分析相对便宜。但随着测序成本大幅下降,数据集已激增,信息学费用也急剧上升。对于许多研究人员而言,将工作交给专家比在本地建立计算机集群要更简单、更便宜。

不过Gerstein也认为,云端是把双刃剑。云供应商通常提供一个更为安全的环境,而不是科研的IT资源。这些数据可从任何地方访问,而无需移动。但上传数据到异地的服务器有其自身的困难,包括丧失对数据的物理控制、隐私,以及数据丢失和被窃的可能性。

最终,每个实验室和研究机构都必须自行决定选择哪种解决方案。但至少有一点是明确的。多亏有了云计算,高性能的生物信息学不再是有钱人的专利。你也行,轻点鼠标即可。

(作者Jeffrey M. Perkel/生物通编译)

订阅生物通快讯

订阅快讯:

最新文章

限时促销

会展信息

关注订阅号/掌握最新资讯

今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

版权所有 生物通

Copyright© eBiotrade.com, All Rights Reserved

联系信箱:

粤ICP备09063491号