Cerebras Systems 近日宣布将在北美和欧洲新建六座数据中心,以提升其人工智能(AI)推理能力。这一举措将大大增强公司的算力,支持各类 AI 应用的发展。根据计划,85% 的计算能力将集中在美国,其中已有三座设施在加州的圣克拉拉、斯托克顿和德克萨斯州的达拉斯投入运营。接下来,新中心将分别在明尼阿波利斯(预计2025年第二季度)、俄克拉荷马城和蒙特利尔(预计2025年第三季度),以及亚特兰大和法国(预计2025年第四季度)开张。图源备注:图片由AI生成,图片授权服务商Midjourney新数据中心的核心将是 Cerebras 公司研发的 “晶圆规模引擎”(Wafer Scale Engine),这是一种专为 AI 应用优化的特殊芯片架构。公司表示,其 CS-3系统能够每秒处理4000万条 Llama-70B 模型的令牌数据,极大提升了推理任务的处理速度。在俄克拉荷马城的设施中,预计将配置超过300台 CS-3系统。该中心按照三级加三标准建设,具备抗龙卷风和地震的能力,并且配备了三重冗余电源,预计于2025年6月开始运营。目前,已有多家知名 AI 公司与 Cerebras 签署 ...
复旦 NLP 实验室博士后纪焘是这篇文章的第一作者,研究方向为大模型高效推理、多模态大模型,近期代表工作为首个NoPE外推HeadScale、注意力分块外推LongHeads、多视觉专家大模型MouSi,发表ACL、ICLR、EMNLP等顶会顶刊论文 20 余篇。DeepSeek-R1 作为 AI 产业颠覆式创新的代表轰动了业界,特别是其训练与推理成本仅为同等性能大模型的数十分之一。多头潜在注意力网络(Multi-head Latent Attention, MLA)是其经济推理架构的核心之一,通过对键值缓存进行低秩压缩,显著降低推理成本 [1]。然而,现有主流大模型仍然基于标准注意力架构及其变种(e.g., MHA, GQA, MQA),推理成本相比 MLA 呈现显著劣势。使预训练的任意 LLMs 快速迁移至 MLA 架构而无需从头预训练,这既有重大意义又具有挑战性。复旦 NLP 实验室、华东师大、上海 AI Lab、海康威视联合提出 MHA2MLA 框架,通过部分 RoPE 保留(Partial-RoPE)和键值联合表示低秩近似(Low-rank Approximation)两个关 ...
他回来了。谷歌联合创始人、全球第七富豪拉里・佩奇 (Larry Page) 已经成立了一个 AI 创业公司。据外媒 The Information 本周四报道,拉里・佩奇成立了名为 Dynatomics 的创业公司,旨在用人工智能颠覆制造业。有两位知情人士透露,佩奇和一小群工程师正在研究如何使用大语言模型(LLM)为各种物体创建高度优化的设计,然后让工厂制造它们。佩奇等人并不是唯一在探索利用 AI 提升工业制造的团队,目前已有不少利用 AI 发现材料、模拟工业流程、进行异常探测的项目。利用人工智能提升工艺制造流程,或许是技术应用的下一个爆点。知情人士表示,这家低调的公司由 Chris Anderson 经营,他曾是另一家佩奇支持的公司 Kittyhawk 的首席技术官,这是一个雄心勃勃的项目,旨在制造小型电动飞机(飞行汽车),致力于彻底改变人们在城市中的出行方式。 该公司生产的飞行汽车名为 Flyer,飞行速度 32 公里 / 小时,可飞行 20 分钟。由于原型机失败和监管问题,该公司于 2022 年关闭。说到拉里・佩奇与 AI 领域 ...
在这篇文章中,我们记录了 Manus 的实际使用感受,并介绍了 Manus 的开源复刻版本。昨天,一个叫「Manus」的通用 AI Agent 产品引起热议。它可以完成从文件处理、数据分析、代码编写到内容创作等多种任务,比如帮助用户生成旅行计划、分析股票数据、筛选简历或开发简单的网页游戏。但是,由于「Manus」只发放了少量邀请码,能够体验到这款应用的人数目前还比较少。在电商平台上,邀请码的价格一度被炒到几万元,甚至还有人做起了帮助他人申请 Manus 邀请码的生意。一系列行为,导致许多人无法直接体验到 Manus,这也为 Manus 招来了不小的质疑声音。当然,大家最关心的还是 Manus 到底好不好用,这也是 Manus 的根本。在拿到邀请码后,机器之心进行了一些测试,并将体验过程中感受到的 Manus 的优点和不足写了出来。我们不做「吹嘘」式的语言描述,只供大家参考。此外,我们还注意到,一些行动力超强的 Agent 团队已经做出了 Manus 的开源复刻,包括 CAMEL AI 团队开源的 OWL 和 MetaGPT 团队开源的 OpenManus。据机器之心观察,AI 学术 & ...
编辑 | 2049想象一下,如果我们能像观察夜空中闪烁的星星一样,清晰地观察到原子在材料表面的「舞动」,这将为理解材料功能打开一扇全新的大门。然而,传统的电子显微镜技术面临着一个根本性挑战:要实现毫秒级时间分辨率的原子尺度成像,必须大幅降低电子束剂量,而这导致图像被噪声淹没,模糊了关键细节。为了解决了这一技术瓶颈,亚利桑那州立大学(ASU)和纽约大学(NYU)的研究团队开发了一种基于无监督深度学习(Unsupervised Deep Learning)的去噪框架,实现了在温和电子束剂量下对气体环境中金属纳米颗粒表面进行毫秒级时间分辨率的原子尺度观察。该研究以「Visualizing nanoparticle surface dynamics and ancabilities enabled by deep denoising」为题,于 2025 年 2 月 27 日发布在《Science》上。论文链接:https://www.science.org/doi/10.1126/science.ads2688相关报道:https://phys.org/news/2025-03-ai-nano ...
随着生成式人工智能技术(AIGC)的突破,文本到图像模型在故事可视化领域展现出巨大潜力,但在多角色场景中仍面临角色一致性差、布局控制难、动态叙事不足等挑战。为此,北京大学、上海人工智能实验室、南洋理工大学联合推出 DiffSensei,首个结合多模态大语言模型(MLLM)与扩散模型的定制化漫画生成框架。论文地址:https://arxiv.org/pdf/2412.07589GitHub 仓库:https://github.com/jianzongwu/DiffSensei项目主页 - https://jianzongwu.github.io/projects/diffsensei/数据链接 - https://huggingface.co/datasets/jianzongwu/MangaZero该框架通过创新的掩码交叉注意力机制与文本兼容的角色适配器,实现了对多角色外观、表情、动作的精确控制,并支持对话布局的灵活编码。同时,团队发布了首个专为漫画生成设计的 MangaZero 数据集(含 4.3 万页漫画与 42.7 万标注面板),填补了该领域的数据空白。实验表明,DiffSens ...
个人设备进入最强模型时代。仅仅过了一天,阿里开源的新一代推理模型便能在个人设备上跑起来了!昨天深夜,阿里重磅开源了参数量 320 亿的全新推理模型 QwQ-32B,其性能足以比肩 6710 亿参数的 DeepSeek-R1 满血版。基准测试数据显示,QwQ-32B 在数学推理、代码生成及通用任务处理能力上实现了显著突破,充分展现了强化学习应用于预训练基础模型的巨大潜力。QwQ-32B 与原始 DeepSeek-R1、DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 的基准测试结果比较。可以说,QwQ-32B 的开源不仅代表着大模型技术的又一次飞跃,更预示着「最强模型」走入个人设备的时代正式到来。然而,这只是模型一侧的改进。对于大多数人来说,高性能大模型的部署门槛一直居高不下,常面临着「存不下、跑不动、散不了热、供不起电」等诸多挑战,是阻碍个人用户体验前沿技术的最大障碍。不过大模型时代,技术的进步永远很快。这不,一家利用闲时 GPU 算力资源支持科学研究和 AI 推理并获得收益的平台「算了么」,为 ...
近期DeepSeek V3 引爆国内外的社交媒体,他们在训练中成功应用了 FP8 精度,显著降低了 GPU 内存使用和计算开销。这表明,FP8 量化技术在优化大型模型训练方面正发挥着越来越重要的作用。近期,来自伯克利,英伟达,MIT 和清华的研究者们提出了显存高效的 FP8 训练方法:COAT(Compressing Optimizer states and Activation for Memory-Efficient FP8 Training),致力于通过 FP8 量化来压缩优化器状态和激活值,从而提高内存利用率和训练速度。COAT 实现了端到端内存占用减少 1.54 倍,端到端训练速度提高 1.43 倍,同时保持模型精度。它还可以使训练批次大小加倍,从而更好地利用 GPU 资源。通过利用 FP8 精度,COAT 使大型模型的高效全参数训练在更少的 GPU 上成为可能,并有助于在分布式训练环境中加倍批次大小,为大规模模型训练的扩展提供了实用的解决方案。最重要的是,他们的训练代码完全开源。论文第一作者席浩诚本科毕业于清华大学姚班,目前在伯克利攻读博士学位,他在英伟达实习期间完成了这篇 ...
编辑 | 萝卜皮大型语言模型 (LLM) 在化学和生物医学研究中取得了显著进展,可作为各种任务的多功能基础模型。浙江大学侯廷军、谢昌谕以及南方医科大学姜志辉等课题组组成的联合团队提出了 AMP-Designer,这是一种基于 LLM 的方法,用于快速设计具有所需特性的抗菌肽 (AMP)。在 11 天内,AMP-Designer 实现了 18 种具有广谱抗革兰氏阴性细菌活性的 AMP 的从头设计。体外验证显示成功率为 94.4%,两种候选药物表现出卓越的抗菌功效、最小的血液毒性、在人血浆中的稳定性以及较低的诱发耐药性可能性,小鼠肺部感染实验中细菌负荷显著减少就是明证。从设计到验证的整个过程在 48 天内完成。尽管数据有限,AMP-Designer 仍擅长创建针对特定菌株的 AMP,其中最佳候选物对痤疮丙酸杆菌的最低抑制浓度为每毫升 2.0 微克。AMP-Designer 集成了先进的机器学习技术,表现出卓越的效率,为抗生素耐药性的创新解决方案铺平了道路。该研究以「Discovery of antimicrobial peptides with notable antibacterial ...
编辑丨coisini识别显微镜图像中的对象,例如光学显微镜(LM)下的细胞和细胞核是生物学图像分析中的关键任务之一。由于显微镜成像方式的多样性和不同维度(二维 / 三维,时间维度)的存在,这些识别任务具有挑战性,目前需要采用不同的方法来解决。基于深度学习的方法在过去几年中显著改善了 LM 下的细胞和细胞核分割,电子显微镜(EM)下的细胞、神经元和细胞器分割。这些方法大多提供了预训练模型,并能够对与训练数据相似的新数据生成高质量结果。然而,由于底层深度学习方法的泛化能力有限,对于与原始训练数据差异较大的数据,质量会有所下降,只能通过重新训练来改进。提起视觉分割任务,Meta 提出的基础模型 ——Segment Anything Model(SAM),是在一个大规模标注数据集上进行训练的,在广泛的图像领域中实现了令人印象深刻的交互式分割性能。来自德国哥廷根大学计算机科学研究所等机构的研究团队基于 SAM,提出了一种用于多维显微镜数据分割和追踪的工具 ——Segment Anything for Microscopy (μSAM)。通过微调适用于光学和电子显微镜的通用模型,μSAM ...