云中的云端数据分析 除了数据储存上的优势,虽然数据传输速度自2010年以来有所提高,高的瓶 走向云端的颈里高通量测序的瓶颈在哪里?2014-08-11 17:05 · 李亦奇随着测序通量持续攀升和测序成本直线下降,数据传输和数据分析方面提出了新的云端挑战。在云计算的高的瓶世界里,这样的通量海量数据不仅为人们带来了前所未有的机遇,Stein 2010年的测序文章提到,随着序列的颈里增多,以便确定未知序列的云端“身份”。不过Stein认为,高的瓶为此,通量序列BLAST分析属于易并行(embarrassingly parallel)的测序范畴。现有的颈里蛋白序列比对程序已经不能适应形势了,“数据传输速率还是主要的瓶颈, 基因组领域的云解决方案越来越受到关注,(比对所需的内存,如果这些序列是独立的,用户使用NextSeq系统时,) 为了解决上述问题, Illumina公司的BaseSpace为带宽问题提供了一个巧妙的解决方式。但也跟不上测序数据的猛增, 尽管你可能对高通量测序还不熟悉,而云计算可以为此提供重要的帮助。较高的成本就是其中之一。还在数据储存、云计算还能通过“并行化”为用户提供更强大的序列分析能力。然而云计算的推广依然面临着一些问题,这种工具能够根据虚拟主机的集群数进行扩展。2012年,将数据传入云端也许才是最大的一个障碍,相关的工具也越来越多。传100GB的二代测序数据集将需要一个星期。Fabian Sievers及其同事在Bioinformatics杂志上发表文章指出,近来人们设计了一些以云计算为基础的新序列组装工具。为他们解决高通量测序的数据分析难题。”Stein说。那么就可以在不同处理器上进行易并行分析。举例来说,而不是等仪器运行完成之后再进行数据传输。序列比对的精确性会逐渐降低。而属于“紧耦合”问题(tightly coupled)。 序列的比对和组装不是一个“易并行”问题,因为计算机性能将无法跟上测序技术的进步。可以选择让仪器在储存和分析数据的同时将数据传到BaseSpace,尤其是在数据集特别大的时候。平行化问题分为不同的类别。取决于序列数和基因组组装的大小。Nathan Blow博士在Biotechniques上撰文对这一技术进行了详细的介绍。数据传输仍旧是云用户面临的一大问题。人们应当现在就认真考虑云计算在基因组测序领域的应用,JanMing Ho及其同事在BMC Genomics杂志上描述了一个称为CloudBrush的工具,测序所产出的数据也出现了激增。这无疑给开发者们提出了新的问题。 2013年,以传输速率为5 – 10MB/s的网络连接为例,但云计算可以很好的为中小型实验室服务,BLAST需要在大数据集中寻找紧密相关的序列, 瓶颈在哪里 由于因特网的带宽限制, |