网站建设与维护 目录做电子商务网站公司

网站建设与维护 目录,做电子商务网站公司,如何设置wordpress的语言,如何开通微信公众号“与AGI太过遥远的炒作相比#xff0c;我非常喜欢这种 3 到 5 年的时间窗口。”“AI 现在最大的问题#xff0c;已经不是不够聪明#xff0c;而是太难真正落地。” “与AGI太过遥远的炒作相比#xff0c;我非常喜欢这种 3 到 5 年的时间窗口。” “AI 现在最大的问题我非常喜欢这种 3 到 5 年的时间窗口。”“AI 现在最大的问题已经不是不够聪明而是太难真正落地。”“与AGI太过遥远的炒作相比我非常喜欢这种 3 到 5 年的时间窗口。”“AI 现在最大的问题已经不是不够聪明而是太难真正落地。”这些非常务实的观点并不是出自AI怀疑论者。相反它出自硅谷圈内那位“工程与学术”的双修神话Jeff Dean。这位大神身兼多个要职Google DeepMind 和 Google 研究院首席科学家同时还是 Gemini项目联合技术负责人更是 TPU 与 Transformer 背后最核心的工程与研究推动者之一。psJeff Dean 还有一份终身级荣誉Google 内部最高级别的技术职位——Senior Fellow这是一种公司技术体系中的“终身级”认可毫不夸张的说可以理解成 Google 帝国的“终身院士”。上周末很少露面公开演讲的大神 Jeff 接受了一场播客邀约。在这场对谈中Jeff 并没有讨论参数规模、模型排名甚至很少谈“下一个突破”。他反复强调的是一个听起来不那么性感、却决定 AI 能否真正改变世界的问题系统、成本、数据与现实约束。他心中的“登月级”AI项目不是奥特曼那般的“星际之门”而是润物无声的“AI医疗”。以医疗为例。外界常常把希望寄托在“更强的模型”上。但 Jeff Dean 很直白的表示真正的难题在于医疗数据分散在无数系统里格式混乱、不可流动还被隐私、法规和责任机制牢牢锁死。你不可能把数据集中起来训练一个“全知模型”AI 只能在数据原地学习。这让联邦学习、隐私计算从“研究方向”变成了现实世界的必选项。当谈及未来最值得投入的方向时Jeff Dean 的答案也明显出人意料。他没有押注更大的模型而是把注意力放在了更低延迟、更高能效、更低成本的推理系统上。他甚至回溯到 2013 年 TPU 诞生时那张著名的“餐巾纸草图”直言如果今天重画一次首要任务已经不再是把算力堆到极限而是比现在推理延迟要低得多的AI系统。这场采访还揭开了 Google 内部少为人知的一角。比如为什么 Gemini 的“秘密武器”不会公开但大量实验性想法却持续向学术界释放再比如为什么 Google 内部研究常常被认为“领先学界一年”以及那些尚未进入产品、却已经在挑战 Transformer 边界的架构探索。最大的感受是Jeff Dean 并不否认模型会继续进化。但他不断把问题拉回到一个更冷静的坐标系中当 AI 足够强之后它能否在真实世界的规则、成本和系统中站得住这可能是未来3~5年内AI世界最为激烈的分水岭之战。期间还有不少谷歌内部的技术猛料。比如内部已经基于TPU构建了一条成熟路径后续可能会开放再比如下一代Pixel手机新技术的发布节奏等等。以下是小编对这场对谈中最值得关注的观点与细节的梳理信息密度很高建议收藏细读。第七代TPU厉害之处主持人Jeff Dean感谢你来到周日的圣地亚哥就在 NeurIPS 会议中心前。你是 Google 的首席科学家、Kaggle 负责人最近你们刚刚发布了新一代 TPU 芯片。我们来聊聊这件事吧——第七代 TPU。它有什么特别之处Jeff Dean和以往每一代 TPU 一样新一代都比上一代更强有很多新的能力。它可以被连接成我们称之为“Pod”的超大规模配置每个 Pod 大概有 9216 颗芯片左右。在性能上尤其是在像 FP4 这样的低精度浮点格式下有显著提升这对大模型训练、推理以及很多相关场景都非常有帮助。所以我们对这一代 TPU 非常兴奋。TPU是内部推理需求推动的主持人如果把视角拉远一点Google 最初是为了内部需求开始做 TPU 的。作为全球领先的 AI 应用和研究机构之一对整条垂直整合技术栈的掌控是最初的动机。后来你们又把这些能力对外开放进入了加速器的全球竞争市场。现在很多人都在期待 TPU 形成一个巨大的外部市场。站在你的角色上你怎么看 Google 内部使用 TPU 的目标和在市场中通过 TPU 赋能数以百万、甚至数十亿用户之间的关系Jeff DeanTPU 项目的起点确实是内部需求而且最初主要聚焦在推理上。早在 2013 年我们就意识到深度学习方法会非常成功。每当我们用更多数据训练更大的模型在语音、视觉等任务上的效果都会更好。我当时做了一些粗略计算如果我们想把一个计算量大得多、但效果更好的语音模型提供给一亿用户每天使用几分钟会发生什么结果非常吓人。如果用 CPU我们几乎需要把 Google 全部的计算机数量翻一倍才能上线这个改进版模型。于是我们意识到如果能做专用硬件针对机器学习计算——本质上是密集、低精度的线性代数——就能实现数量级更高的效率。事实证明第一代 TPU 在能效上比当时的 CPU 或 GPU 高出 30 到 70 倍速度也快了 15 到 30 倍。这个想法是在 2013 年形成的芯片在 2015 年进入数据中心我们也发表了论文那是在 Transformer 出现之前。当时我们主要关注语音识别和视觉里的卷积模型后来在最后关头对 TPU v1 做了一点设计调整让它支持 LSTM当时这在语言建模中很流行也让我们能支持机器翻译任务。之后的 TPU 版本重点转向更大规模的系统不再只是单张 PCIe 卡而是完整的机器学习超级计算机包括最新的 Ironwood。每一代在能效、单位成本性能等方面都有巨大提升让我们能跑更大规模的训练任务也能为更多用户提供服务。硬件先于软件问题在于是否真的重要主持人Transformer 架构本身也诞生于 Google时间线和 TPU 非常接近只是 TPU 更早一些。你觉得这种应用架构的爆发与 Google 拥有垂直整合硬件栈之间是否存在某种“协同设计”的偶然性Jeff Dean每一代 TPU我们都会尽量利用软硬件协同设计的机会。我们有很多研究人员在思考两年半到六年之后我们可能会运行什么样的机器学习计算这正是硬件设计中最难的地方——要在一个变化极快的领域里做预测。这并不容易但如果你有足够多的人对趋势有所判断就可以在芯片里加入某些硬件特性或能力。如果将来它真的变得很重要那么硬件已经准备好了如果没有那最多只是占用了一小块芯片面积。关键在于一旦这件事真的变得重要你的前期投入就能发挥巨大价值。TPU之上一条最成熟的路径主持人这本质上是在对整个机器学习领域做一次前瞻预测。如果只能选一个人来做这件事“计算机科学界的 Chuck Norris”大概就是你了。科普下Chuck Norris 是值“强到不讲道理、近乎传说级的存在”。Jeff Dean 几乎参与或主导了 Google 过去二十多年最底层、最关键的系统MapReduce、BigTable、Spanner、GFS、TensorFlow、TPU、Transformer 落地体系、Gemini 的系统栈……很多人一辈子能参与其中一个就已经是职业巅峰。更堪称天才的是Jeff 是一位工程与学术双修的“不世出”的大家。你在 Google 的履历也延续了一种传统为内部需求发明系统。Google 是世界上最擅长构建大规模系统的公司之一很多成果后来都走向了世界比如 Google 文件系统再到 TPU 架构Transformer 的思想最初是论文但现在已经彻底改变了世界。随着 Ironwood 的出现你觉得是否到了一个拐点让全世界都能真正享受到过去只有 Google 才拥有的这些优势站在你的角度这种感觉应该很特别。Jeff Dean我们使用 TPU 已经差不多十年了一直非常满意。软硬件协同的特性让它们非常适合我们要运行的机器学习计算。与此同时我们也通过 Cloud TPU 项目对外提供这些资源很多年了现在有大量客户在用 TPU 做各种事情。我们在 TPU 之上构建了很多软件层让它们用起来非常方便。最成熟的一条路径是在 Pathways 之上运行 JAX。Pathways 是我们内部构建的系统目前也在探索是否向云端客户开放。再往下是 XLA这是一个带有 TPU 后端的机器学习编译器。对 Pathways 来说这意味着我们所有的 Gemini 开发、研究以及大规模训练任务基本都跑在这套技术栈上。Pathways 大约是七年前开始构建的它能给你一种“单一系统镜像”的错觉你只运行一个 Python 进程的 JAX 代码但看到的不是单个 TPU 节点上的几个设备而是仿佛直接拥有两万个设备。系统会在底层自动处理数据传输机制和网络选择一切都能自然地运转起来。同一个 TPU Pod 内会使用高速互连跨 Pod 的通信则走数据中心网络如果是跨城市的 Pod就会使用长距离链路等。实际上我们已经在运行非常大规模的训练任务由一个 Python 进程同时驱动分布在多个城市的多个 TPU Pod。为什么要资助学术研究因为AI建立在研究之上主持人很好。那我们换个话题。你最近经常谈到学术研究经费的现状你想传达的核心信息是什么Jeff Dean我和同事 Hoza、Partha Rangadath以及华盛顿大学的 Magda Balazinski最近在 ACM《Communications》的一期专题中共同发表了一篇文章那一期专门讨论学术研究的影响。在我们的部分里我们回顾了 Google 这家公司赖以建立的各种学术研究成果比如 TCP/IP、先进的 RISC 处理器、互联网本身还有斯坦福数字图书馆项目——正是这个项目为 PageRank 在斯坦福的最初版本提供了资金支持。我的同事 Dave Patterson 也在那一期写了一篇文章讲述了他和伯克利同事们在多个五年期实验室里所孕育出的诸多成果。我真切地认为无论是在美国还是在全球拥有一个充满活力的学术研究生态都至关重要。正是这些早期、富有创造性的想法最终带来了重大的突破和创新。整个深度学习革命实际上建立在三四十年前的学术研究之上——神经网络、反向传播等发明直到今天仍然是我们所做一切的核心。因此我一直主张建立一个健康、有活力的学术研究资助体系因为它为社会带来的回报极其巨大。主持人你、我、Dave Patterson 以及 Joel Pineau 都在 L Institute 的董事会里。这个机构的起点部分源自你、Dave 和我以及另外几位作者共同发表的那篇论文《Shaping AI’s Impact on Billions of Lives》。在那篇文章中我们讨论了 AI 在公共讨论、医疗、科学、再就业培训、新闻业以及政策等领域可能产生的社会影响也主张在加大类似 NSF 这种传统资助的同时探索并试验新的资助模式。L Institute 正是这样一种尝试它从成功的技术从业者那里募集资金捐给一个非营利的 501(c)(3) 机构再由这个机构运行“登月计划”式的资助项目专门支持 3 到 5 年期的研究实验室——每个实验室有 3 到 5 位 PI、30 到 50 名博士生聚焦 AI 对科学进步、医疗、职业再培训和公共讨论的影响。你也一直在推动这种替代性资助模式。3~5年时间尺度的实验室研究要比AGI炒作好得多Jeff Dean和你、Dave 以及其他合作者一起写那篇论文本身就是一件很有意思的事情。我很喜欢那篇文章的一点在于我们系统地梳理了 AI 可能产生影响的多个领域有些领域如果我们把事情做对了可能会带来极其正面的效果也有一些领域前景并不完全明朗AI 可能会带来负面影响。问题在于我们如何在这些领域中最大化 AI 的潜在收益同时尽量降低风险。这不仅涉及计算机科学和机器学习研究也需要与政策制定者以及医疗、教育、科学等领域的一线从业者合作。我们特别强调了 3 到 5 年时间尺度的研究努力以实验室为单位推进这与当下围绕 AGI 或超级智能的高度炒作形成了对比。相比之下帮助一线医疗人员减轻负担、消除放射科医生在使用现有技术时的障碍这些目标更具体、更现实也更可实现。我个人非常喜欢这种 3 到 5 年的时间窗口时间不至于遥远到看不到影响也不至于短到无法做出真正有雄心的事情。在我自己的职业生涯里每当启动一个新项目我往往都会问自己三到五年内我们能做到什么这是一个非常合适、也令人愉悦的时间尺度。登月级目标AI医疗图灵奖、诺奖得主已申请加入主持人我很好奇能否请你分享一两个你个人特别关注的方向在一起写那篇论文时我一直觉得很有意思的一点是你和大量前沿项目都保持着紧密联系——这些项目来自世界上最具创新精神的研究者和建设者。你既是天使投资人也慷慨地投入时间和精力去指导那些希望在气候、科学、公共讨论尤其是医疗领域产生实际影响的研究项目。医疗显然是你非常关心的方向之一。我们为“登月资助计划”搭建的项目委员会目前已经收到了来自顶尖大学的申请其中不乏图灵奖得主和诺贝尔奖得主一切都在按计划推进目标是资助那些真正能推动社会进步的研究。基于你的背景和你对这么多项目的深入了解你能否分享一两个你最看好的方向Jeff Dean我确实对 AI 在医疗领域的应用充满热情。我心目中的“登月级目标”是作为一个社会我们是否有可能让过去在医疗中做出的每一个决策都能为未来的每一个决策提供参考这是一个极其困难的目标因为存在很多现实障碍比如严肃的隐私问题以及在不同司法辖区差异巨大的监管要求。但如果我们能以一种理想化的方式去思考如何从每一次过往决策中学习从而帮助每一位临床医生、也帮助每一个人在未来做出更好的决策那将是一个极其宏大、也极其值得追求的目标。“AI登月”最大的挑战数据太分散了主持人我觉得围绕这个目标做一个 3 到 5 年的“登月式”计划或许真的能推进一些进展。可能没法一步到位但哪怕只走到一半也已经很了不起了。以你对当前 AI 系统能力的判断这个挑战更大的难点是在落地层面吗比如如何适配现有的医疗健康记录、法律与合规要求、保险机构和医院自身的律师体系等等。这些听起来更像是实施难题而不是能力本身的限制还是说你认为AI 的能力本身还需要进一步发展才能真正释放这些价值Jeff Dean这里面确实有不少很有意思、偏研究性质的技术问题但也有很多“脏活累活”式的现实挑战比如如何把数据整理成适合学习的形式。医疗数据分散在各种不同的医疗系统里格式也各不相同。你很可能需要用到隐私保护机器学习、联邦学习之类的方法。从技术角度看问题在于你不可能把医疗数据集中迁移出来而是必须在数据原地、以保护隐私的方式在各种不同环境中进行学习。所以这里既有真实而棘手的技术挑战也正如你说的还有法律、监管层面的难题。这也正是为什么需要一个由不同背景专家组成的团队既要有机器学习和计算机系统方面的专家也需要法律、政策和监管方面的人一起参与。前沿TPU/GPU降低推理成本还有很大创新空间主持人听起来很有道理。还有没有其他你个人特别偏爱的项目方向Jeff Dean最近我特别着迷的一件事是如何让计算系统在现有最前沿的 TPU 或 GPU 之上再进一步提升效率。我觉得这里还有很大的创新空间尤其是在显著降低推理成本方面而推理显然会成为一个越来越重要的领域。这其实又回到了 2013 年当初在餐巾纸上勾勒 TPU 起源时的那个问题。主持人如果现在重新画那张“餐巾纸草图”你会看到什么Jeff Dean如果今天重新来一遍你会发现我们需要的是比现在低得多的延迟系统同时还要有更高的吞吐量而“每瓦性能”会变得极其关键。问题就变成了我们能做些什么去构建能耗大幅降低、但在质量和性能上依然不打折扣的系统当前不会公开Gemini架构的核心秘方先发布新产品然后在公开技术细节主持人你怎么看 Gemini 团队、DeepMind 以及更广义的 Google 内部研究与 Google 之外整个 AI 学术和产业生态之间的关系过去像 Transformer 这样的论文是一种向外输出创新的方式同时你们也大量吸收、站在外部学术成果的肩膀上继续前进。现在随着 Google 在 Gemini 和硬件全栈上的巨大投入和领先地位这种关系是否发生了变化又是否需要继续演进尤其是在我们试图探索新的研究资助模式而传统机制看起来并不乐观的背景下你怎么看 Google 与外部创新体系之间的这种边界关系Jeff Dean我觉得在发表与共享研究成果的方式上确实一直在持续演进。在当前高度竞争的环境下我们通常不会公开 Gemini 模型架构里的“核心秘方”。但在更早期、探索性的研究层面我们依然会发表大量成果比如一些还没有完全验证的新模型架构我们会先在小规模上做实验然后把这些想法发表出来让整个生态都能拿去进一步探索或在此基础上演进。与此同时我们也会持续关注社区里其他研究者的工作思考哪些想法可以被引入用来解决我们看到的问题。我并不认为“发表”是一种非黑即白的选择它本身是一个连续谱什么时候发、发到什么程度都可以灵活处理。举个例子Google Research 在计算摄影领域已经深耕很多年团队里有非常出色的研究者几乎每年都会产出一些很酷的新成果直接进入 Pixel 手机的影像软件管线比如夜视模式、天文摄影或者“魔术橡皮擦”——可以把照片里不想要的人抹掉。我们的做法通常是先把这些能力放进下一代 Pixel 手机产品中然后过一段时间再把背后的技术细节整理成 SIGGRAPH 论文发表出来。也就是说我们会先在产品中使用然后再向社区分享底层原理让其他人能够在此基础上继续创新。这种方式很好地体现了“发表与否”之间的连续性而不是只有两个极端选项。如果你想更深入地学习大模型以下是一些非常有价值的学习资源这些资源将帮助你从不同角度学习大模型提升你的实践能力。一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能​因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量