【摘要】 4月25日，机器之心网讯，今天，腾讯对外正式宣布，腾讯“混元”AI大模型在MSR-VTT，MSVD，LSMDC，DiDeMo和ActivityNet 五大跨模态视频检索数据集榜单中先后取得第一名的成绩，实现了该领域的大满贯。特别是在MSR-VTT榜单上，“混元”AI大模型将文字-视频检索精度提高到55%，领先第二名1.7%，位居行业第一。据悉，这是腾讯首次对外披露“混元”AI大模型的研发进展，该模型包含但不限于：计算机视觉、自然语言处理、多模态内容理解、文案生成、文生视频等多个方向的超大规模AI智能模型。“混元”AI大模型基于腾讯太极机器学习平台进行研发，借助GPU算力，实现快速的算法迭代和模型训练。
【关键词】计算机，视觉，自然语言
【摘要】 3月31日，机器之心网讯，清华AIR、计算机系与腾讯AILab合作，共同提出等变图力学网络，实现了理论力学中的一类重要任务—多刚体系统模拟。近年来，AI for Science 利用人工智能方法与物理、化学、生物等自然科学进行交叉融合，在一些重要的科学问题上（如蛋白质结构预测）取得了瞩目的进展。鉴于物理学科的基础性与重要性，AI+Physics 无疑是 AI for Science 不可缺失的一环。为此，清华 AIR、计算机系与腾讯 AI Lab 合作共同发表论文《Equivariant Graph Mechanics Networks with Constraints》，提出等变图力学网络，实现了理论力学中的一类重要任务—多刚体系统模拟。论文已被 ICLR2022 接收。这一项目也收到了来自腾讯 AI Lab 犀牛鸟专项研究计划的资助。
【关键词】理论力学，论文，力学网络
【摘要】 3月31日，机器之心网讯，最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布“低碳版”巨模型M6-10T，模型参数已经从万亿跃迁到10万亿，规模远超业界此前发布的万亿级模型，成为当前全球最大的AI预训练模型。同时做到了业内极致的低碳高效，使用512 GPU在10天内即训练出具有可用水平的10万亿模型。相比之前发布的大模型GPT-3，M6实现同等参数规模，能耗仅为其1%。M6模型训练使用的正是阿里云机器学习PAI平台自研的分布式训练框架EPL(Easy Parallel Library，原名whale)。EPL通过对不同并行化策略进行统一抽象、封装，在一套分布式训练框架中支持多种并行策略，并进行显存、计算、通信等全方位的优化，来提供易用、高效的分布式训练框架。
【关键词】阿里云，机器学习，低碳
【摘要】 3月31日，机器之心网讯，近日，第三届人脸表情国际挑战赛（The 3rd Workshop and Competition on Affective Behavior Analysis in-the-wild ，简称ABAW）公布了比赛结果，思图场景在与全球129支参赛队伍的竞争中脱颖而出，获得了一项冠军及一项亚军，这是继EmotiW2018、EmotiW2020之后思图场景再度全球夺冠，展现了其在情感计算领域深厚的技术实力。本届竞赛在今年的国际计算机视觉与模式识别会议（CVPR）上举办，CVPR是由总部位于美国纽约的电气与电子工程师协会举办的一年一度的学术性会议，是世界三大顶级计算机视觉会议之一（另两个是ICCV和ECCV）。
【关键词】自然情境，计算机，情感行为
【摘要】 3月31日，机器之心网讯，其主要成果如下，自动调优：2016 年，他的项目 ATLAS 获得全球超级计算大会时间检验奖（Supercomputing Conference Test of Time），通过此项目 Dongarra 开创的方法能够自动查找生成接近最优效率的线性代数内核的算法参数，这优于供应商提供的代码；混合精度算术：在他 2006 年全球超级计算大会上发表的论文《Exploiting the Performance of 32 bit Floating Point Arithmetic in Obtaining 64 bit Accuracy》中，Dongarra 率先利用多精度的浮点算术来更快地提供精准的解决方案。这项工作已在机器学习应用中发挥重要作用，正如最近在 HPL-AI 基准测试中所展示的那样，它在世界顶级超级计算机上实现了前所未有的性能水平。
【关键词】大型，密集，矩阵计算
【摘要】 2月28日，机器之心网讯，在火山引擎举办的视频云科技原力峰会上，火山引擎相关负责人分享了对视频体验、交互、增长的观察与思考，并发布面向体验的视频云全新产品矩阵。火山引擎的使命是开放字节跳动最先进的技术，在长时间的实践过程中，字节跳动总结出面向体验的创新模式。火山引擎从播放、画质、互动、性能四个维度，量化和评估视频体验。在播放体验方面，火山引擎视频云将首帧时间压缩到 100ms 以下，用户感觉不到首帧存在。且相关技术有着更高的稳定性，崩溃率降低到了十万分之一以下，假如用户每天刷 100 个短视频，3 年才能遇到一次播放器崩溃。
【关键词】播放，画质，互动
【摘要】 2月28日，机器之心网讯，随着移动互联网和云计算技术的迅猛发展，越来越多的数据在云环境下进行存储、共享和计算，云环境下的数据安全与隐私保护也逐渐成为学术界以及工业界关注的热点问题。目前阶段，隐私保护技术主要基于密码算法及协议（如安全多方计算、同态加密等）完成场景落地，其优点主要在于具有较高的安全性和可靠性，然而，由于这些算法或协议的实现依赖于大量复杂计算（如乘法循环群上的乘法、指数运算，Pairing 运算，格上的数学运算等），因此存在较大的性能瓶颈，难以在实际场景中大规模应用。作为基于密码学的隐私保护技术的一种替代方案，可信执行环境（Trusted execution environment，TEE）基于硬件安全的 CPU 实现了基于内存隔离的安全计算，可在保证计算效率的前提下完成隐私保护的计算。
【关键词】发展脉络，剖析，密码算法
【摘要】 2月28日，机器之心网讯，英国诺丁汉大学（University of Nottingham）的研究人员获得了首个图灵网络发展奖（Turing Network Development Awards），专注于让人工智能易于访问并在其使用中建立信任。诺丁汉大学是获得这一新奖项的 24 所大学之一，入选的原因是其在数据科学和人工智能方面的卓越研究和成就。现在，通过积极参与研究所蓬勃发展的网络，大学的工作将得大大加强。具身智能（embodied intelligence）教授 Praminda Caleb-Solly 将在诺丁汉大学领导该项目，与全校不同应用领域的人工智能专家协调和咨询 (CaG) 小组合作。将利用他们既定的卓越领域，利用网络进一步连接和扩展他们的研究，开发和提供一系列以商业和社区为中心的活动。作为国家数据科学和人工智能研究所，图灵研究所已经拥有完善的大学合作伙伴网络。然而，这些奖项使研究所能够扩大其影响范围。这批成功的大学将获得高达25000英镑的奖励，以完成他们的项目。
【关键词】数据科学，卓越研究，创新
【摘要】 2月28日，机器之心网讯，华为诺亚方舟实验室的研究者提出了一个大规模的中文的跨模态数据库——悟空，并在此基础上对不同的多模态预训练模型进行基准测试，有助于中文的视觉语言预训练算法开发和发展。在大数据上预训练大规模模型，对下游任务进行微调，已经成为人工智能系统的新兴范式。BERT 和 GPT 等模型在 NLP 社区中越来越受欢迎，因为它们对广泛的下游任务甚至零样本学习任务具有很高的可迁移性，从而产生了 SOTA 性能。最近的工作，如 CLIP、ALIGN 和 FILIP 进一步将这一范式扩展到视觉语言联合预训练 (VLP) 领域，并在各种下游任务上显示出优于 SOTA 方法的结果。这一有希望的方向引起了行业和研究人员的极大关注，将其视为通向下一代 AI 模型的途径。
【关键词】人工智能，新兴，范式
【摘要】 1月29日，机器之心网讯，还记得谷歌大脑团队去年6月份发布的43页论文《Scaling Vision with Sparse Mixture of Experts》吗？他们推出了史上最大规模的视觉模型V-MoE，实现了接近SOTA的Top-1准确率。如今，谷歌大脑开源了训练和微调模型的全部代码。然而，大模型以及数据集的使用是以大量计算需求为代价的。最近的研究表明，增强模型的泛化能力以及稳健性离不开大模型的支持，因此，在训练大模型的同时协调好与训练资源的限制是非常重要的。一种可行的方法是利用条件计算，该方法不是为单个输入激活整个网络，而是根据不同的输入激活模型的不同部分。这一范式已经在谷歌提出的pathway（一种全新的AI解决思路，它可以克服现有系统的许多缺点，同时又能强化其优势）愿景和最近的大型语言模型研究中得到了重视，但在计算机视觉中还没有得到很好的探索。
【关键词】150亿，参数，准确率
【摘要】 1月29日，机器之心网讯，最近一段时间，超级计算机是科技公司比拼的重点。昨天商汤科技的AIDC刚刚启用，今天又传来了脸书超算的消息。当地时间1月24日，Meta（原Facebook）揭幕了其研究团队的全新人工智能超级计算机，预计在2022年中全部完成后，它将成为世界最快的计算机。在报道文章中，Meta表示新超算AIResearchSuperCluster（RSC）将帮助该公司构建更好的AI模型，这些模型可以从数万亿个示例中学习，构建跨数百种语言的模型，并同时分析文本内容、图像和视频，确定内容是否有害。当然，RSC超算也可以用来开发新一代增强现实工具。
【关键词】英伟达，DGXA100，超算
【摘要】 1月29日，机器之心网讯，1月27日，中国传媒大学媒体融合与传播国家重点实验室媒体大数据中心联合头号偶像（北京）数字科技有限公司共同发布《中国虚拟数字人影响力指数报告》，国内首个虚拟数字人影响力指数亮相。报告指出，2021年元宇宙概念兴起，叠加疫情下国人对虚拟内容需求增加、消费级VR硬件快速发展，虚拟数字人发展进入快车道。报告从未来媒体形态和服务模式重新定义了虚拟数字人：计算机图形学、语音合成技术、深度学习、类脑科学、生物科技、计算科学等聚合科技（Converging Technologies）带来语义传播与无障碍传播的新空间，由此诞生的虚拟数字人将以新媒介角色，广泛应用在元宇宙新生态中，担任着信息制造、传递的责任，是元宇宙中“人”与“人”、“人”与事物或事物与事物之间产生联系或发生孪生关系的新介质。
【关键词】元宇宙，重要载体，媒介
【摘要】 1月29日，机器之心网讯，近日，超过50多位谷歌研究者参与撰写的论文《LaMDA:Language Models for Dialog Applications》介绍了语言模型LaMDA的最新进展。论文概括了他们如何在安全、可靠和高质量的对话应用程序方面取得进展。LaMDA通过微调一系列专门用于对话的、基于Transformer的神经语言模型构建的，具有多达137B个参数，模型还可以利用外部知识源进行对话。语言模型可以完成不同任务，例如将一种语言翻译成另一种语言，将长文档总结为简短的摘要等。在众多任务中，开放域对话可能是最困难的任务之一，因为开放域对话需要模型覆盖不同的主题。在对话任务中，模型应该遵循负责任AI（ResponsibleAI）实践，并避免做出没有外部信息源支持的事实陈述。
【关键词】谷歌，LaMDA，质量
【摘要】 12月30日，机器之心网讯，近日，苏黎世联邦理工研究者分享了他们对自动驾驶场景中高效快速进行时序建模和多物体追踪分割的思考。本文是对苏黎世联邦理工、香港科技大学和快手科技的论文《Prototypical Cross-Attention Networks for Multiple Object Tracking and Segmentation- PCAN》的解读，该论文被 NeurIPS 2021 接收为 spotlight。（ Prototypical Cross-Attention Network, PCAN）是基于苏黎世联邦理工和 UC 伯克利推出的学术界最大规模的自动驾驶多目标跟踪和分割（MOTS）数据集 - BDD100K Tracking and Segmentation。其中，BDD Tracking Segmentation 数据集的规模是KITTI-MOTS的6倍（3,0817vs5,027训练图像、480Kvs26K实例掩码），标注物体数量是KITTI的近20倍，并覆盖白天、夜间、雨雪等更为丰富真实的自动驾驶场景。
【关键词】白夜，自动驾驶，场景
【摘要】 12月30日，机器之心网讯，几何深度学习（GDL）基于包含和处理对称信息的神经网络架构。GDL 为依赖于具有不同对称性和抽象级别的分子表示的分子建模应用程序带来了希望。苏黎世联邦理工学院的研究人员对分子 GDL 进行了结构化和统一概述，重点介绍了其在药物发现、化学合成预测和量子化学中的应用。它包含对 GDL 原理的介绍，以及相关的分子表示，例如分子图、网格、曲面和字符串，以及它们各自的属性。讨论了分子科学中 GDL 当前面临的挑战，并尝试预测未来的机会。
【关键词】GDL，原理，预测
【摘要】 12月30日，机器之心网讯，12月15日，Nature子刊《自然-机器智能》发表了由华中科技大学人工智能学院发起、剑桥大学、斯坦福大学、约翰霍普金斯大学、MD安德森肿瘤医院、华中科技大学同济医学院附属同济医院、附属协和医院、国家药物筛选中心等国内外权威科研机构联合开发的联邦学习开源医学人工智能（AI）计算框架（Unified CT AI Diagnostic Initiative , UCADI）。当前人工智能模型普遍泛化性差：模型在训练过的数据集上表现优异，但是对于未曾见过的数据，表现差别大。这个根本性的缺陷导致AI技术在医学、医疗应用中表现出的局限性，甚至安全问题更加突出。由于医疗数据受到个人隐私，知识产权，数据尺寸等多方面的限制，无法实现大范围、集中式的数据融合，当前医学人工智能模型通常只能在有限，甚至单一的数据集上训练。因此在这样条件下构建的医疗AI模型应用范围十分有限。华中科技大学提出的此架构在保证数据安全与隐私前提下，无需传输数据，能在不同物理地点共享训练医学数据，构建泛化性强的医学AI模型。
【关键词】AI，医学，医疗应用
【摘要】 12月30日，机器之心网讯，近期，国际AI顶级会议 NeurIPS 2021 召开。清华大学朱文武教授实验室 Meta_Learners 团队在 NeurIPS 2021 举办的第二届国际深度元学习挑战赛（MetaDL Challenge）中夺得冠军。该团队在最终阶段的五个数据集中以平均准确率超越第二名 17.5%（相对提升 22.3%）的优势强势摘得桂冠。元学习（Meta Learning）作为机器学习迈向自动化的一个重要研究方向，已经得到了产学研各界的持续关注。元学习旨在让机器学习算法从已经学过的任务中总结学习经验，提取「元」知识，来在遇到新场景、新任务时，让算法能够仅利用少量的样本就完成复杂的训练过程，从而又快又好地适应未知场景。
【关键词】元学习，自动化，竞赛
【摘要】 11月30日，机器之心讯，来自Facebook AI 的研究者提出了 NormFormer，该模型能够更快地达到目标预训练的困惑度，更好地实现预训练困惑度和下游任务性能。在原始的 Transformer 架构中，LayerNorm通常在Residual之后，称之为Post-LN（Post-Layer Normalization）Transformer，该模型已经在机器翻译、文本分类等诸多自然语言的任务中表现突出。最近的研究表明，在 Post-LN transformer 中，与较早层的网络相比，在较后层的网络中具有更大的梯度幅度。实践表明，Pre-LN Transformer 可以使用更大的学习率、极小的学习率进行预热（即 warm-up），并且与Post-LN Transformer 相比通常会产生更好的性能，所以最近大型预训练语言模型倾向于使用Pre-LN transformer。
【关键词】目标，预训练，困惑度
【摘要】 11月30日，机器之心讯，全球顶级的信息安全峰会HITB+Cyberweek 2021于近日举办，腾讯朱雀实验室专家研究员Jifeng Zhu和研究员Keyun Luo受邀参加，并进行了题为《Deep Puzzling: Binary Code Intention Hiding based on AI Uninterpretability》（《基于AI不可解释性的二进制代码意图隐藏》）的议题分享。会上，腾讯朱雀实验室展示了如何利用AI模型的特性，实现二进制代码的意图隐藏，有效防止代码被黑客逆向分析，从而保障核心代码的安全。目前，朱雀实验室已将这项技术面向全球开发者开源，方便研究团队灵活取用，用前沿的AI技术助力网络安全的升级。
【关键词】AI技术，网络安全，网络攻防
【摘要】 11月30日，机器之心讯，近日，复旦大学微电子学院研究团队，利用机器学习策略辅助优化了二维半导体增强型顶栅晶体管的制备工艺，并采用工业标准设计流程和工艺进行了晶圆级器件与电路的制造和测试。该工作提出了一种适合学术界探索的二维半导体集成电路工艺优化路线，从而展示了二维材料体系未来的芯片应用前景。该研究以《Wafer-scale functional circuits based on two dimensional semiconductors with fabrication optimized by machine learning》为题，于 10 月 12 日发表在《Nature Communications》杂志上。
【关键词】策略，优化，制备工艺
