小型计算机集群

几十年前,“大数据”和“云”是我们日常生活和对话的一部分,基于能源部劳伦斯伯克利国家实验室(伯克利实验室)的定制计算机集群使世界各地的物理学家能够远程、同时分析和可视化数据。

并行分布式系统设施(PDSF)集群,自20世纪90年代以来,它一直是世界各地支持开创性研究甚至诺贝尔奖获得者的一匹稳定的工作马,上个月关机了。

在其生命周期中,该集群及其专门的支持团队积累了许多计算成果和创新,以支持核物理和高能物理领域的大规模协作工作。其中一些创新在其他系统中得到了坚持和发展。

这个星系团处理了实验数据,这些实验产生了一种原始的亚原子粒子“汤”,教我们物质的构成,寻找南极冰层深处的星际粒子信号,在一个以前的矿场,在一英里深的液态氙气罐中搜寻暗物质。它还处理了绘制宇宙最早光的空间天文台的数据,以及对超新星的地球观测。

它支持的研究导致了变形能力被称为中微子的幽灵粒子,这个希格斯玻色子的存在以及通过粒子相互作用产生质量的相关希格斯场,以及加速膨胀率宇宙中一种被称为暗能量的神秘力量。

PDSF的一些协作用户已经转换到科里伯克利实验室国家能源研究科学计算中心的超级计算机(神经干细胞)其他参与者进入其他系统。在数据集和需求日益庞大和复杂的时代,向CORI的过渡使用户能够获得更多的计算能力。

小型计算机集群

位于伯克利实验室国家能源研究科学计算中心的CORI超级计算机。(学分:伯克利实验室)

“很多伟大的物理和科学都是在PDSF完成的,”Richa德赢手机版rd Shane Canon说,NERSC的项目工程师,2003-05年担任PDSF的系统主管。“我们从中学到了很多很酷的东西,其中一些事情甚至成为我们今天如何运行超级计算机的一部分。它也是实验和超级计算设备之间的独特合作伙伴关系–它是同类产品中的第一个。”

与处理大量计算机处理器的超级计算机对手相比,PDSF的规模较小,数据,和用户,但它以反应迅速和适应性vwin手机版强而闻名,多年来,它的支持人员通常包括理解科学以及软硬件能力和局限性的物理学家。德赢手机版

“这是‘小引擎能做到的’”,伊沃娜·萨克雷贾达说,一位核物理学家,在NERSC的各种角色中为PDSF及其用户提供了十多年的支持,并于2015年从伯克利实验室退休。“这是一个‘精品’电脑集群。”

PDSF因为它小巧灵活,提供了一个研发环境,使研究人员能够测试出分析和可视化数据的新想法。这样的环境在更大的系统上可能更难找到,她说。它的大小也给人以个人的感觉。

“当事情不起作用时,她补充道,回顾她在PDSF系统中指导的众多研究人员,包括从事论文研究的早期职业研究人员。

“真令人高兴。我和vwin手机版用户建立了很好的关系,”Sakrejda说。“我知道他们想做什么,他们的计划是如何运作的,这对于为他们试图实现的目标创建正确的体系结构非常重要。”

她指出,由于PDSF系统不断更新,有时会导致不同世代的硬件组合成各种各样的设备,与当今超级计算机的体系结构大同小异。

PDSF的参与者包括萨德伯里中微子天文台的合作。(SnO在加拿大,布鲁克海文国家实验室相对论重离子对撞机的电磁跟踪器(明星冰钻在南极附近,大亚湾在中国,低温地下稀有事件观测站(库尔在意大利,巨大的地下氙气(力士)LUX-ZePLINLZ)和马约拉那南达科他州的实验,费米实验室的对撞探测器(彩色多普勒血流)以及阿特拉斯实验与大型离子对撞机实验(爱丽丝)在欧洲的CERN实验室,在其他中。数据密集度最高的实验使用分布式集群系统,如PDSF。

小型计算机集群

这张图表显示了多年来使用PDSF的物理合作,明星和爱丽丝合作最频繁。(学分:伯克利实验室)

Star协作是最初的参与者,迄今为止,PDSF的总体使用率最高,Alice的合作已经发展成为最大的PDSF用户之一。2010.这两个实验都探索了一种被称为夸克胶子等离子体通过碰撞重粒子。

sno研究人员对中微子质量和转变成不同形式或口味的能力的研究结果导致2015年诺贝尔物理学奖(见相关文章)而pdsf玩了一个显著作用在对sno数据的早期分析中。

艺术麦当劳作为SNO合作的负责人,说,“PDSF计算设备被sno协作广泛使用,包括我们在伯克利实验室的合作者。”

他补充说:“多年来,该资源在模拟和数据分析方面极为宝贵,我们在中微子物理学方面取得了突破,并在整个SNO合作中获得了2015年诺贝尔奖和2016年基础物理学突破奖。我们非常感谢通过进入PDSF设施为我们提供的科学机会。”

PDSF对大亚湾核反应堆实验数据的快速处理也是精确测量中微子的性质。

集群是共享计算中所谓的公寓模型的引领者。这种模式允许合作购买为满足自身需求而定制的计算能力和专用存储空间的一部分,当其他集群参与者不活动时,他们也可以临时选择一个参与者在系统上分配的计算机处理器。

在这个公寓类比中,“如果你的邻居不使用你的房子,你可以去使用它,”佳能说,前实验物理学家“如果其他人都闲着,你可以利用自由容量。”佳能指出,许多大学已经为他们的计算机用户采用了这种模式。

重要的是,PDSF系统的设计也旨在为单个协作成员提供方便的访问和支持,而不是要求每个项目或实验通过一个帐户进行访问。“如果每个人都必须登录才能提交工作,在这些大的合作中,它是行不通的,”佳能说。

最初的PDSF集群,称为物理探测器模拟设备,于1991年3月启动,以支持计划中的美国粒子对撞机项目称为超导超级对撞机.它是在德克萨斯州建立的,对撞机的原址,尽管对撞机项目最终在1993年被取消。

小型计算机集群

显示原PDSF系统第3阶段设计的图表。(学分:《超导超级对撞机:1989-1993年回顾性总结》,超导超级对撞机实验室,达拉斯德克萨斯)

1994年回顾性报告对撞机项目指出,最初的PDSF是为了每秒执行70亿条令人印象深刻的指令而建立的,而PDSF模拟复杂粒子碰撞的科学需求推动了国家计算机行业的“重大技术进步”。德赢手机版

当时,报告还指出,PDSF是“世界上最强大的高能物理计算设施”。它是使用不同制造商的非专利系统和设备建造的,成本只是超级计算机的一小部分。

长期伯克利实验室物理学家斯图洛肯,1988-2000年任实验室信息与计算科学部主任,德赢手机版在PDSF的发展和在伯克利实验室的集群选址中发挥了关键作用。vwin手机版

小型计算机集群

2000年,PDSF搬到了伯克利实验室的奥克兰科学设施,然后又回到了实验室的主要地点。(学分:伯克利实验室)

1996年,PDSF以一个新的名字和一个新的角色搬到了伯克利实验室。它主要是用新的硬件重建的,并被转移到奥克兰的一个计算机中心。Calif.在2000年再次回到伯克利实验室之前。

“我们部署了很多工具来帮助PDSF上的数据处理,现在NERSC的数据用户正在使用这些工具,”Lisa Gerhardt说,NERSC的大数据架构师,负责PDSF系统。她曾在冰立方实验中担任中微子天体物理学家。

Gerhardt指出,由于集群的用户社区非常集中,所以集群非常灵活和响应迅速。她说:“拥有一个更小、更具凝聚力的用户池,可以更容易地建立直接关系。”

还有Jan Balewski,NERSC的计算系统工程师,负责将PDSF用户转换为新系统,说多年来PDSF工作人员的科学背景有利于集群的用户。

Balewski前实验物理学家,说,“有我们的背景,我们能够与用户讨论他们真正需要什么。也许,在某些情况下,他们要求的不是他们真正需要的。我们能够帮助他们找到解决方案。”

R.杰斐逊“杰夫”波特,伯克利实验室核科学部门的计算机系统工程师和物理学家,在20世纪90年代中期开始与PDSF集群和作为伯克利实验室博士后研究员的用户合作,德赢手机版说,“PDSF是一种处理大数据的资源——在大数据成为世界其他地方大事之前的许多年。”

它一直使用现成的硬件,并稳步升级——通常一年两次。即便如此,与超级计算机相比,它相形见绌。大约七年前,PDSF集群拥有大约1500个计算机核心,相比之下,当时在NERSC的一台相邻超级计算机上大约有100000台。核心是执行计算的计算机处理器的一部分。

波特后来被NERSC雇佣来支持网格计算,一种分布式计算形式,其中不同位置的计算机可以一起工作以执行较大的任务。他回到核科学部领导爱丽丝美国计算机项目,德赢手机版它将PDSF建立为CERN的Alice实验的大约80个网格站点之一。Alice使用PDSF很容易,波特说,由于PDSF社区“处于网格计算的前沿”。

在某些情况下,PDSF集群用户的独特需求也将导致超级计算机系统采用新的工具。他说:“我们的社区会以他们没有想到的方式推动NERSC。”欧洲核子研vwin手机版究中心开发了软件分发系统这是五年前PDSF通过的,这也被许多科学合作所采用。NERSC付出了巨大的努力,Porter说,把这个系统集成到更大的机器上:CORI和爱迪生.

小型计算机集群

2017年PDSF的配置。单击此处可查看较大的图像。(学分:伯克利实验室)

在一个系统上支持多个项目对PDSF来说是一个挑战,因为每个项目都有独特的软件需求,因此,Canon领导了一个名为chvwin手机版root os(chos)的系统的开发,使每个项目都有一个定制的计算环境。

波特解释说,chos是“容器计算”的一种早期形式,自那时起,它已经被广泛采用。

PDSF由伯克利实验室的指导委员会运行,该委员会通常由每个参与实验的成员和NERSC的成员组成。波特担任了大约五年的委员会主席。在过去的一年里,他一直专注于如何将用户转变为CORI超级计算机和其他计算资源,根据需要。

Balewski说,用户从pdsf到cori的飞跃使他们获得了更大的计算能力,并允许他们“在一个较小的系统上提出他们永远无法提出的问题”。

他补充说:“这就像从一个你认识所有人但资源有限的小镇搬到一个更拥挤但也提供更多机会的大城市。”

留下答复

请输入您的评论!
请在此处输入您的姓名

此网站使用Akismet来减少垃圾邮件。了解如何处理评论数据.