11 月 6 日,在百度智能云技术沙龙期间,百度杰出系统架构师、百度智能云 AI 计算部负责人王雁鹏表示,全球科技巨头正在积极打造 10 万卡集群,冲刺 AGI;而国内构建 10 万卡集群则面临着三大难题:跨地域部署、多芯混训以及集群稳定性。这些难题包括技术和工程上的多重挑战。王雁鹏介绍,经过多年的技术积累和产业实践,百舸 4.0 已能够实现 10 万卡集群的高效管理,并通过 HPN ...
研究发现大模型内在编码错误但生成正确答案。 大模型幻觉,究竟是怎么来的?谷歌、苹果等机构研究人员发现,大模型知道的远比表现的要多。它们能够在内部编码正确答案,却依旧输出了错误内容。 到现在为止,我们仍旧对大模型「幻觉」如何、为何产生,知之甚少。 最近 ...
11月5日消息,字节跳动在2024年上半年国际收入增长60%,达到170亿美元,TikTok为国际收入的大部分。总收入方面,字节跳动增长超过35%,达到730亿美元,即将超过上半年收入755亿美元的Meta公司。有消息人士称,字节的营业利润率低于一年 ...
王雁鹏表示,从美国科技企业的疯狂布局10万卡可以看得出,Scaling Law定律目前看仍然有效。公开数据显示,GPT-3的训练数据集包含3000亿个token。而GPT-4的训练数据集包含约13万亿个token。模型的持续升级,意味着数据量的指数级增长。而训练数据量的升级对计算集群也提出了挑战。10万卡的训练集群正是为了满足模型参数增长所带来的高算力需求。
今年七月,“9.11和9.9谁更大”这个简单的问题,竟让大多数最先进的大模型都翻了车。根据机器之心的测试,15个主流大模型里,有超过一半都没答对。连GPT-4o和Claude 3.5 Sonnet这两个顶尖模型都是一通操作猛如虎,结论全是不靠谱。
重要股东净减持规模缩小,计划减持规模提升。 【主题·风向】五大重量级AI模型即将登场,Llama 4 布局AI ...
基于 GLM-4V 的强大视频理解能力,CogSound 能够准确识别并理解视频背后的语义和情感,并为无声视频添加与之相匹配的音频内容,甚至可以生成更加复杂的音效,如爆炸、水流、乐器、动物叫声、交通工具声等。
讲台上,Ethan教授分享了他将AI引入课堂的经验,展示了AI辅助教学的创新实践。这种将理论与实践相结合的方法,正是哈佛大学一直倡导的教育理念。过去几个月里,AI领域的发展速度令人惊叹。正如Ethan教授在哈佛演讲中指出的,许多AI实验室的研究人员已 ...
"Los verdaderos amigos siempre se sienten cerca el uno del otro sin importar la distancia que los separe". El presidente ...
大型语言模型(LLMs)高质量数据的增长速度远远落后于训练数据集的扩张,在这种情况下,合成数据已成为一个有希望的解决方案。目前,数据生成主要包含两种主要方法:数据增强和合成。全面回顾并总结了LLMs整个生命周期中的数据生成技术,包括数据准备、预训练、微调、指令调优、偏好对齐和应用。本综述的主要内容流程和分类现有关于数据合成和增强技术的调查与本次工作的比较。先 ...