发布日期:2025-09-17 06:54 点击次数:124
前脚 AMD 刚刚收购加拿大 AI 初创公司 Untether AI,后脚就斥资 4 亿好意思元收购了一家华东谈主 95 后和导师聚拢创办的加拿大 AI 初创公司CentML[1]。这位后生名叫王尚,此前担任 CentML 的聚拢独创东谈主兼 CTO。据了解,王尚降生于山东省青岛市开yun体育网,高中就读于青岛二中。2018 年其本科毕业于加拿大多伦多大学,后又在该校先后赢得硕士学位和博士学位。他的硕博导师齐是多伦多大学的根纳季·佩基门科(Gennady Pekhimenko)西宾,而佩基门科西宾本东谈主则是 CentML 的聚拢独创东谈主兼 CEO。值得厚爱的是,更早之前王尚还在谷歌、英特尔和华为加拿大分公司实习过。
在收购 CentML 之前,英伟达打败了竞标者并成为最终赢家。据先容,CentML 建设的软件能在 AI 模子和芯片之间运行,从而阁下尚未得到充分阁下的硬件容量,并能领受其他技能使系统运行得更好。CentML 通过出售软件的订阅做事来盈利,其还与云做事提供商刚毅了收入分红合同,进而将其时期系结到做事决议中,旨在匡助客户笃定到底使用哪些硬件不错提高机器学习模子的性能并裁减其资本,进而匡助客户从现存硬件中赢得更多价值。
据了解,CentML 于 2025 年 6 月 6 日散伙了其加拿大联邦买卖注册。一封发给 CentML 客户的电子邮件被曝光在酬酢媒体上,邮件露馅 CentML 的运营将于 2025 年 7 月 17 日厚爱收尾。与此同期,该公司更新了它的注册信息、董事以及通讯地址。新列出的董事是三名英伟达高管,其通讯地址为英伟达位于好意思国加利福尼亚的总部。
事实上,这次收购可谓霸术已久。英伟达初度涉足 CentML 是在 2023 年 10 月,其时它为 CentML 提供了一笔 2700 万好意思元的种子轮融资。该轮融资由旗下专注于 AI 的 Gradient Ventures 基金领投,德勤创投、汤森路透创投和 Radical Ventures 等有名风投公司跟投。其时,这笔资金曾用于在 2024 年底前将 CentML 的 32 东谈主团队扩大一倍。
据一位音讯东谈主士告诉外媒,CentML 的出售对其投资者和激动而言价值远超 3 亿好意思元。但另一位音讯东谈主士暗意,有计划到包括以“达到事迹意见为条目的愉快”在内的成分,该往复的总价值可能升至 4 亿好意思元以上,因此这笔往复可能会为 CentML 的早期投资者带来丰厚酬谢。
其实,王尚和英伟达的渊源颇深。在聚拢创办 CentML 之前,他曾在英伟达担任工程师,主要责任任务是匡助优化查考责任负载以便提高 GPU 性能,也就是说他第一次在英伟达负责的责任内容和自后所创立的 CentML 的业务内容恣意近似。2022 年,他参与创办了 CentML,并由我方的导师佩基门科担任 CEO。佩基门科当今仍在加拿大多伦多大学担任副西宾一职,并指导着快要 20 名学生。在 CentML 的四名主要独创成员中,除了佩基门科除外,其余三位独创成员中有两名齐是我方的学生,而其中又名等于王尚。那么,他为何选拔王尚扫数创办了 CentML?王尚有着若何的时期恶果?对于此,从王尚的两篇代表论文不详不错窥斑见豹。这两篇论文差别于 2020 年和 2021 年发表在机器学习与系统会议(MLSys,Machine Learning and Systems)上。手捏至少两篇顶会一作论文以及恶果具有较高的应用性,可能是我方得以和导师共同创业的原因。那么,这两篇论文差别讲了什么?
在 2020 年的一作论文中,王尚和共事旨在提高反向传播的可推广性,为此他和共事将反向传播重新表述为一种扫描操作。扫描操作是一种原语,它按轨则对一系列值进行团员,并复返每一步的中间限度。然后,通过校正之后的布莱洛克扫描算法(Blelloch scan algorithm),在并行系统上推广这种反向传播的重新表述花式。究诘中,他们使用合成数据集针对基础进行了查考评估,并使用 IRMAS 数据集针对带有门控轮回单位的轮回神经收集进行了查考评估,限度露馅这一要领在合座查考时候上已毕了高达 2.75 倍的速率提高,在反向传播上已毕了 108 倍的速率提高,并评释针对剪枝后的收集进行重新查考不错手脚这一要领的本色应用场景。
在 2021 年的一作论文中,王尚等东谈主分析了来自顶尖究诘机构的 GPU 集群使用统计数据,以长远了解典型深度学习查考任务所已毕的硬件效劳。这一究诘标明,当单加快器查考任务被重迭启动时,举例当用于超参数调优时,它们可能会在集群界限内的资源破费中占据主导地位,同期却在很猛进度上并未充分阁下硬件。究诘中,王尚等东谈主不雅察到这类责任负载具有以下特有特征:一是责任中的模子昔日具有相易类型和体式的算子,二是这类算子的模子间水平会通等同于其他如故由精致优化的算子。因此,为了匡助业内东谈主士有用提高尚度学习查考责任负载的硬件阁下率,王尚等东谈主在这项究诘中建议了水平会通查考阵列(HFTA,Horizontally Fused Training Array)。HFTA 是一个深度学习框架推广库,它能够横向会通来自不同重迭性任务的模子,直至算子级别,然后在分享加快器上已毕同步查考。究诘中,王尚等东谈主将 HFTA 用于在其时最新 GPU 和 TPU 上查考的六个深度学习模子。限度标明,与在单独的加快器上运行每个功课的模范作念法比较,HFTA 在提高硬件阁下率方面相配有用,其查考浑沌量可提高高达 15.1 倍。
由此可见,王尚在五年前就运转存眷大模子,并在提高 GPU 阁下率上作念出了一定恶果。而在 2025 年 5 月,也就是 CentML 被英伟达收购的不久之前,王尚收受一家外媒采访并先容了 CentML 的业务施展。
在上述采访中,王尚暗意 CentML 的开源机器学习编译器 Hidet 不错径直对接该公司基于 vLLM 的做事引擎 CServe,进而与 CentML 的一体化 AI 基础枢纽决议已毕顺畅集成。借助 CentML 平台,建设者能够选拔 Llama、Mistral 或 DeepSeek 等任何开源模子,并将其部署在职何硬件上(从英伟达 H100、AMD MI300X 到 TPU 均可),后续的性能优化和部署责任则由该时期栈自动完成。王尚暗意,通过 CentML 平台,他和共事对于经 AWQ 量化的 DeepSeek-R1 模子进行了优化和部署。在 GPU 内核层面,CentML 借助 Hidet 编译器的界限特定话语 Hexcute,为 DeepSeek -R1 的重要构成部分——羼杂群众层构建了一个全会通 GPU 内核。比较基于 Triton 编译器打造的同类最好决议,这一作念法将 MoE 层的速率提高了 2 到 11 倍。此外,在推理引擎层面,CentML 构建了 EAGLE 臆测式解码时期,该时期阁下一个更小的草稿模子来减少原始大模子的责任量并助力其已毕并行化,从而能够已毕 1.5 到 2 倍的速率提高。
相通是在上述采访中,王尚还先容了 CentML 团队发表在 2025 年机器学习与系统会议的一篇论文。该论文先容了一款名为 Seesaw 的大模子推理引擎,其专诚针对浑沌量导向型任务优化打造而来。Seesaw 的中枢想想是动态模子重分片,该时期能够促进不同阶段间并行化战略的动态重构,从而在两个阶段均已毕浑沌量最大化。为了缩小重分片支拨以及优化想象效劳,CentML 团队领受了分层 KV 缓存缓冲和过渡最小化颐养的要领。这些要领通过协同作用能够减少因时常的阶段更始所带来的支拨,同期还能确保批处置效劳的最大化。评估限度标明,与当今应用最豪爽的顶尖大模子推理引擎 vLLM 比较,Seesaw 的浑沌量最高提高 1.78 倍(平均提高 1.36 倍)。
而这次 CentML 被英伟达收购以后,包含王尚在内的几位 CentML 独创东谈主均已入职英伟达。原 CEO 佩基门科当今在英伟达担任 AI 软件高等总监,同期仍在多伦多大学担任教职;手脚原 CTO 的王尚当今在英伟达担任 AI 软件系统司理;原首席架构师阿南德·贾亚拉詹(Anand Jayarajan)当今在英伟达担任工程司理;原 COO 阿克巴·努尔利巴耶夫(Akbar Nurlybayev)当今在英伟达担任 AI 软件高等司理。详细媒体报谈和事业网站信息,英伟达这次还从 CentML 收编了十几名时期东谈主员。总的来说,恭候王尚等东谈主的将是一个新的事业生存。
参考贵府:
1、https://thelogic.co/news/exclusive/nvidias-deal-centml-us400m/
http://www.cs.toronto.edu/~wangsh46/
https://thelogic.co/news/exclusive/centml-nvidia-acquisition-canada-ai/
https://www.theglobeandmail.com/business/article-nvidia-acquires-canadian-machine-learning-company-centml/
https://arxiv.org/abs/2402.16731
https://arxiv.org/abs/2102.02344
https://arxiv.org/abs/1907.10134
https://www.linkedin.com/in/anandj91/
https://www.linkedin.com/in/gpekhimenko/
https://www.linkedin.com/in/akbarnurlybayev/?originalSubdomain=ca
https://www.linkedin.com/in/shang-sam-wang-52851489/
https://centml.ai/
Powered by 开云官网kaiyun皇马赞助商 (中国)官方网站 登录入口 @2013-2022 RSS地图 HTML地图