Microsoft在Azure上的AI超级计算机

微软发布了一款超级计算怪兽，据该公司称，它是世界上最强大的五种怪兽，其目标是在科学和哲学界称为“新兴财产”，或至少是它的一个版本。在AI中，这意味着要超越“狭窄的AI”，即AI在完成一项任务的当前状态，并朝着AI同时处理多个任务或问题的方向迈出一步。如果新兴财产开始发挥作用，那么AI可能会进入新的能力领域(请参阅有关超人AI和“新兴财产”的Eng Lim Goh博士)。

该系统托管在Microsoft的Azure公共云上，并与OpenAI(由Elon Musk等人共同创立的AI研究实验室，结合“人类人工智能”章程)一起构建并用于OpenAI，该系统旨在训练针对高度复杂问题的较大AI模型，并且微软在博客中说： “迈出了迈向下一代超大型AI模型以及训练它们所需的基础设施的第一步，这是其他组织和开发人员可以以此为基础的平台。”

微软首席技术官凯文·斯科特(Kevin Scott)说：“这些模型令人兴奋的是它们将实现的功能广泛。” “这是关于能够一次在自然语言处理中完成一百项令人兴奋的事情，以及在计算机视觉中完成一百项令人兴奋的事情，当您开始看到这些感知领域的组合时，您将拥有很难的新应用程序甚至现在就可以想象。”

在公司的年度构建会议上启动微软表示，超级计算机是一个单一系统，具有超过285,000个CPU内核，10,000个GPU和群集中每个GPU服务器每秒400吉比特的网络连接能力。微软表示，虽然该公司没有发布具体的吞吐率数据，但“与世界500强超级计算机中列出的其他计算机相比，它排名前五名。” 如果准确，则表示机器的能力大于23.5(双精度，Linpack)petaFLOPS。微软表示，该系统已于去年年底完成。没有透露有关系统供应商的详细信息，但是如果假设该机器的10,000个GPU是Nvidia V100，每个GPU提供7.8个双精度teraFLOPS，那么这足以使Top500进入前五名。

“随着我们越来越了解我们需要什么以及组成超级计算机的所有组件的不同限制，我们真的可以说，'如果我们可以设计我们的梦想系统，它将是什么样?” ” OpenAI首席执行官Sam Altman说。“然后，Microsoft得以构建它。”

在当今的AI中，数据科学家通常会构建单独的，相对有限的模型，这些模型使用标记的数据来学习各个任务，例如语言翻译，图像识别或文档分类。微软表示，但是研究人员正在建立一种新型的大型模型，该模型可以处理通过“例如检查数十亿页的公开文本”而学到的任务。“这种类型的模型可以如此深入地吸收语言，语法，知识，概念和上下文的细微差别，以至于可以胜任多项任务：总结冗长的讲话，调节实时游戏聊天中的内容，在数千个法律文件中寻找相关段落或甚至可以从GitHub搜索中生成代码。”

微软的研究人员根据公司的AI规模计划，开发了用于自然语言处理(NLP)的更大的Microsoft Turing模型，该模型用于公司的Internet搜索，Office和ERP / CRM产品中。微软称，图灵自然语言生成(T-NLG)是一个170亿参数的语言模型(每个参数大致相当于人脑中的突触连接)，该模型执行诸如写作帮助和回答读者问题之类的任务。

最终，该公司打算开源其大型AI模型，培训工具和可通过Azure AI服务和GitHub获得的超级计算资源。“……人工智能正在成为一个平台，”斯科特说。“这是关于获取非常广泛的数据并训练一个模型，该模型学习如何做一些通用的事情，并使该模型可供数百万开发人员使用，以弄清楚如何使用有趣的东西和富有创造力的事物。”

微软还宣布了DeepSpeed的新版本，这是一种用于PyTorch的开源深度学习库，该公司表示可以将模型训练的速度提高15倍，并将速度提高10倍。该公司还向ONNX Runtime添加了对分布式培训的支持，ONNX Runtime是一个开放源代码库，旨在使模型可以跨硬件和操作系统移植。迄今为止，ONNX Runtime专注于高性能推理。

这些工具，框架和计算基础架构的结合旨在实现“自我监督”学习，微软称这是可以通过使用大量未标记，非结构化数据并通过吸收大量公共文档而进行训练的AI模型。互联网并预测丢失的单词和句子。取消精心标记数据的任务(例如标记猫的照片)将极大地改善数据科学家及其工作人员的生活。

微软说：“在像疯狂的Libs这样的大型游戏中，单词或句子被删除了，该模型必须根据周围的单词来预测缺失的部分。” “由于该模型进行了数十亿次，因此它非常擅长感知单词之间的关系。这将导致对语法，概念，上下文关系和其他语言构建块的丰富理解。它还允许相同的模型在从语言理解到回答问题再到创建对话机器人的许多不同语言任务中转移经验教训。”

同样在Build大会上，Microsoft预览了Project Bonsai，这是Microsoft用于自动工业控制系统的机器教学服务。该公司表示，该项目旨在使没有AI背景的主题专家能够通过“机器教学”开发物理系统和流程，这使机器“能够吸收专家的知识，而不仅仅是从数据中提取知识。”

该公司表示：“通过机器教学，开发人员和工程师可以指定所需的结果或行为，要教学的概念以及必须满足的安全标准。” “机器教学方法使用户可以清楚地了解AI代理如何工作以及在不使用时进行调试。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！