日前,在德国法兰克福会展中心举行的2018国际超算大会(ISC18)上,浪潮分享了面向第三代基因测序组装软件的高性能计算系统优化方案。浪潮的FALCON优化方案使得关键步骤计算性能提升了20%左右,而浪潮并行优化的MECAT相比原单机版本获得了近10倍的性能提升,优异的性能表现引发了国际同行的极大关注。

图片1

ISC现场,浪潮AI Dr.朱红分享第三代基因测序计算优化方案

二代测序和三代测序都属于高通量测序技术,测序数据产出量很大,需要结合高性能计算技术来进行后续的测序数据处理。相较于二代测序技术,以单分子测序技术为代表的三代基因测序带来了更长的测序读长,这使得对更加复杂的物种如各种农作物和植物等的基因研究成为可能,但是相对更高的测序错误率(~15%)需要进行数据纠错,又对高性能计算带来了新的挑战。三代基因测序组装这类应用对于系统的计算性能、网络和磁盘等方案都有很高的要求。很多用户在通常的高性能计算平台来处理测序数据时,性能都不理想。

目前,由Pacbio公司开发的FALCON及中国的中山大学开发的MECAT是第三代基因测序组装领域的两款主流软件。FALCON由于把测序数据(raw data)切割成KB级别的卷来进行纠错,因而需要频繁的磁盘I/O,所以在计算过程中,磁盘I/O经常会成为系统瓶颈。浪潮专家优化FALCON软件的底层参数,优化了软件架构,降低了系统对于硬件I/O依赖,下图为处理同一测试用例时,优化前后磁盘I/O强度对比。

图片2

优化FALCON前后磁盘I/O强度对比

优化完成后,FALCON软件的核心部分性能提升了20%,而且软件的集群扩展性也有明显提升。

图片3

优化后FALCON核心部分性能提升20%

针对MECAT软件,浪潮完成了该软件从单机环境向集群环境的并行优化工作。经测试,新部署的经过浪潮并行优化的集群版本在12个节点上运行时,可以把人类全基因组组装时间从200多个小时缩短到不足24小时,相比原单节点版本获得近10倍的加速比,这表明集群版本的扩展线性度非常好。下图是MECAT组装过程中各个环节的用时对比:

图片4

MECAT组装过程各环节用时对比

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2019-07-30 09:57:53
国内资讯 盘点中国六大国家超算中心
近十年来,我国先后成立家国家级超算中心, “天河一号”、“神威蓝光”、曙光“星云”、“天河二号”、“太湖之光”等超级计算机先后登上世界顶级超算阵容。 <详情>
2019-07-25 18:31:22
云资讯 青云QingCloud与浪潮信息联合发布新一代微型云数据中心
7月25日,由青云QingCloud主办的Cloud Insight Conference(CIC)2019云计算峰会在北京举行,会上青云QingCloud与浪潮信息联合发布了新一代微型云数据中心——青立方Qing³®️ <详情>
2019-07-08 15:34:36
大数据资讯 浪潮加入“百度AI边缘计算行动计划” JDM加速边缘计算创新
AI在各个行业的应用普及过程,同时也是AI与云、大数据、5G等其他IT技术融合的过程。2019年中国政府正式发放5G牌照,标志着5G大规模普及的开始。众所周知,5G是边缘计算的时代, <详情>
2019-07-05 13:09:02
云资讯 浪潮徐晓音:云计算技术将成为企业基础架构
上海国家会计学院主办的“信息技术与财务的未来”高峰论坛暨2019年影响中国会计人员的十大信息技术评选结果发布会昨日在上海举行。记者从会上获悉,2019年影响中国会计从业 <详情>
2019-07-04 18:27:11
云资讯 以浪潮商业机器的云化路线图,为企业数字化转型全面赋能
上云是必然趋势,在云化过程中肯定会遇到各种复杂的问题。考虑到不同行业、不同规模的用户在上云过程中所处的不同阶段,浪潮商用机器制订了企业数字化转型全面云化路线图, <详情>