尽管OpenAI下一代旗舰模型的上线时间还是未知数,但多方消息指向同一个可能性:性能没那么大飞跃了。来自OpenAI的员工和研究人员表示,高质量文本和其他数据的供应不足是GPT模型性能减速的原因之一。 国内有关数据的讨论也从未降温,仅这半个月,月之暗面创始人杨植麟说,“当Scale(规模)差不多时,更多算力可能并不一定能直接解决问题,核心是高质量的数据没那么多了”,蚂蚁数科索性上线了全新的AI数据合成品与生产平台。 猎豹移动董事长兼CEO、猎户星空董事长傅盛更直白,他要捅破窗户纸,“大模型行业
尽管OpenAI下一代旗舰模型的上线时间还是未知数,但多方消息指向同一个可能性:性能没那么大飞跃了。来自OpenAI的员工和研究人员表示,高质量文本和其他数据的供应不足是GPT模型性能减速的原因之一。
国内有关数据的讨论也从未降温,仅这半个月,月之暗面创始人杨植麟说,“当Scale(规模)差不多时,更多算力可能并不一定能直接解决问题,核心是高质量的数据没那么多了”,蚂蚁数科索性上线了全新的AI数据合成品与生产平台。
猎豹移动董事长兼CEO、猎户星空董事长傅盛更直白,他要捅破窗户纸,“大模型行业竞争,真正的竞争壁垒来自于数据”,猎豹移动则联合旗下的聚云科技于近日推出数据服务产品“AI数据宝AirDS”。顶级模型成长放缓是好是坏?怎么平衡人工和机器做数据标注成本?猎豹移动高管团队向北京商报记者开诚布公。
卡在数据上
开发过程中,OpenAI的最新模型Orion(猎户座)未能达到预期的性能,谷歌的Gemini模型以及Anthropic的Claude3.5Opus也都遇到了瓶颈,在业内人士看来,三家似乎都面临相似的问题:越来越难以获得高质量数据。
有关Scaling law(规模定律)是否失效的问题又一次被抛给大模型从业者。
用OpenAI一篇论文中的定义,所谓Scaling law,是指大模型的最终性能主要与计算量、模型参数量和训练数据量三者的大小相关,而与模型的具体结构(层数/深度/宽度)基本无关。换言之,仅仅增加模型规模和训练数据,就能显著提升人工智能能力,而无需取得根本性的算法突破。
“没人能下这个结论,”傅盛话锋一转,“从客观事实看,顶级模型的能力和成长,肯定是放缓的,Scaling law不一定放缓了,但受限于数据的容量,不是说芯片和算法不重要,而是大家在这两点上很难作出差异化。”
一种解决方案是合成数据,Epoch AI Research研究团队预测,“到2026年,现存的用于AI模型训练的高质量语言数据将耗尽”。
“未来的AI应用需要大量稀缺且难以获取的长尾数据,如自动驾驶中的极端天气与极端路况数据,具身智能训练所需要的复杂场景数据。在此背景下,数据合成将成为关键”,蚂蚁数科AI科技技术负责人、蚂蚁天玑实验室主任李哲持以上观点。
“合成数据确实是一个很重要的补充,但仅仅使用合成数据肯定是不够的”,猎户星空首席科学家韩堃告诉北京商报记者。猎豹移动将重点放在大模型数据服务上,AI数据宝AirDS提供数据收集、清洗、标准、提示词工程及评估等服务。
只会“拉框”远远不够
以数据标注为例,“上一代数据标注趋向于常见的检测、识别和固定化、规则化的任务,这些标注相对来说比较明确,比如依照视频找物体,根据语音找文字。但在大模型时代,企业应用是多种多样的”,猎豹移动高级副总裁孙明焱向北京商报记者举例,“比如客户希望用大模型查数据库,希望让大模型画组织架构图,这种需求找一个标注人员来做是挺难的”。
用傅盛的话说,大模型让数据标注和服务走向一体化,“光雇人标人脸的时代已经适应不了现在的需求了。没有做过大模型、大模型应用的企业,要构建这套体系需要时间”。
人工和机器间的平衡,也没有特定的套路。
“数据服务肯定是需要人工的,但大模型时代会大量借鉴AI模型和工具来提高数据标注的效率,”韩堃进一步说,“如果所有的数据服务都通过人工服务,标注或清理的速度肯定跟不上,成本也非常大,但要产出高质量的数据,仅通过模型肯定是不够的。我们在自己训练模型的过程中发现,数量和质量的平衡点非常微妙,要通过大量实践才能找到,一个既保证数量,质量又非常高的点。而这个点跟企业的目标相关,做预训练、微调或者应用,对于数量和质量的要求是不太一样的。”
今年“双十一”,直播成为重要促消费渠道。截至11月11日24时,淘宝直播成交破亿元直播间达119个,其中有49个破亿元直播间同比增速超100%。据介绍,今年“双十一”淘宝直播整体成交金额、购买用户数均实现大幅增长。
当前,河南正重点培育万亿级现代食品产业集群,着力打造休闲食品、冷链食品、预制菜和酒饮品等重点产业链,推动产业转型升级。
2025年应用会繁荣
除了猎豹移动,蚂蚁数科也采用人机协同模式。北京商报记者了解到,在数据标注方面,蚂蚁数科AIGD平台通过人机协同进行标注,人工智能算法能够自动识别和预处理大部分基础信息,预标注模型依赖人工标注量降低了70%以上。
客户需求决定市场,市场永远是动态的。站在客户的角度,“大模型标注更多是在应用层发挥大模型的能力”,猎豹移动副总裁童宁透露。
他分享了一个有关读取PDF信息的案例,“因为合同的种类有很多种,最初客户认为大模型读取PDF形式合同的正确率到80%就上不去了。后来我们做了POC(概念验证),通过一个智能体理解上下文,调整成一些更优质的提示词。这个流程中,标注团队的能力体现在根据场景设计一套智能体系中间的工作流,并对应成能够输出的高精度的提示词”。
这些都是大模型应用落地需要解决的问题,即大模型商业化的“最后一公里”。
“猎豹移动不靠大模型挣钱,也不靠模型接口调取量挣钱,而是通过应用去赚钱,”傅盛认为,“现在可能没有特别顶级的应用出来,2025年大模型应用的繁荣是可见的。”
他以OpenAI为例手机配资,“最近萨姆.奥尔特曼(OpenAI CEO)接受采访,人家问他OpenAI最缺什么,他说我们最缺产品。OpenAI也是把产品能力、应用能力加强了,最近半年内推出的功能都是应用在做的。所以我认为,2025年应该是大模型大繁荣的一年”。
欧洲央行行长拉加德表示专业股票配资平台靠谱吗,她打算留任并完成任期。 “我可以非常坚定地告诉你们,我一直以来都决心完成我的使命,将做满任期。” “很遗憾地告诉你们,你们不会那么快看到我离开。” 推荐阅读:欧洲央行一如预期再次降息 以帮助经济应对关税压力 海量资讯、精准解读,尽在新浪财经APP 责任编辑:刘明亮 专业股票配资平台靠谱吗...
今日,A股震荡上扬,北证50涨逾1%站稳1400点,深证成指则在10000点附近获得支撑后小幅上升,创业板指险守2000点大关。上涨个股多于下跌个股,成交1.16万亿元。 盘面上,黄金、医药生物、休闲食品、日用化工等板块涨幅居前,家用电器、汽车、煤炭、酿酒等板块跌幅居前。 数据显示,医药生物行业获得逾94亿元主力资金净流入,银行、电子、传媒、基础化工等均获得...
国足即将在本月初跟印尼巴林展开世预赛的比拼,这不仅是大赛也是决定命运的关键之战在线股票配资平台,本组日本、澳大利亚、沙特等优势相对是比较明显的,对剩下的队来讲争夺附加赛资格是实在的希望,战胜对手拿到分数才能保证晋级,因此,这比赛的价值及对抗性的惨烈不必多说。 就在开打之前,印尼方面启用了“盘外招”。据印尼媒体“wartakota”报道,近日印尼足协主席托希尔...
1. 《坏蛋是怎样炼成的》 作者:六道 字数:400万+ 背景:学生谢文东从校园霸王崛起为东北黑道教父温州股票配资,缔造文东会帝国。 主角自述:"老师说我是混混?现在他的退休金得我点头才能发!三眼说我太狠?不狠怎么压住这群豺狼!这江湖...跪着的人没资格谈仁慈!" 点评:黑道文开山鼻祖,将暴力美学写成职场晋升指南。三观不正但爽感炸裂。 2. 《黑道学生》 作...
摩根大通朱海斌:创新领域信心加速恢复 降息降准既有必要性也有空间|首席对策在线证劵杠杆网站 在全球宏观格局日益复杂的背景下,中国巨大的市场潜力受到国际市场格外关注。今年以来,最大的不确定性来自特朗普政府的对外贸易政策。摩根大通中国首席经济学家兼大中华区经济研究主管朱海斌表示,特别是4月美国推出所谓“对等关税”后,对中国和...