见证历史！AI想的科研idea 真被人类写成论文发表了
我要评论天啦撸！见证！历史论文AI想出来的想的写成idea，还真有人写成论文了。科研
甚至预印本arXiv、真被博客、人类代码全都有了。发表
今年8月，见证Sakana AI（由Transformer论文8位作者的历史论文最后一位Llion Jones创业成立）这家公司推出了史上首位“AI科学家”，且一登场就一口气生成了十篇完整学术论文。想的写成
而现在，科研受其中一篇论文想法的真被启发，人类研究员真的人类写出相关论文并在arXiv上公开了。
OpenAI前研究团队负责人Jeff Clune激动直言：
简直不敢相信！发表这是见证它产生的我最喜欢的想法之一。看到与人类达成一致真是太酷了，人类确实执行得更好。
话不多说，让我们来康康论文具体内容。
Claude提的idea，被人类写成论文了
翻开“AI科学家”之前撰写的论文，我们找到了Jeff Clune提到的这一篇。
《Grokking Through Compression: Unveiling Sudden Generalization via Minimal Description Length》通过压缩实现Grokking：借助最小描述长度（MDL）揭示突然泛化现象
根据描述，这篇论文的想法由Claude 3.5 Sonnet在第22次迭代时提出。
它主要探讨了神经网络中最小描述长度（MDL）与 “grokking” 现象（模型经长时间训练后突然泛化）的关系，从信息论视角研究突然泛化的机制。
其中，MDL可以被看成一种衡量模型复杂度和可压缩性的方法，即模型既要能够很好地拟合数据，又不能过于复杂（避免过拟合）。
具体而言，研究引入了一种基于权重剪枝的新型MDL估计技术，并将其应用于多种数据集，包括模块化算术和排列任务。相关实验揭示了MDL减少与泛化能力提高之间存在强烈的相关性（下图），MDL的转变点通常在“grokking”事件发生之前或与之同时出现。
此外，研究观察到在“grokking”与非“grokking”情境下MDL演变模式的差异，前者以快速的MDL减少后持续泛化为特征。这些发现为理解“grokking”的信息论基础提供了见解，并表明在训练期间监控MDL可以预测即将发生的泛化。
Okk，了解了原论文，我们再来看人类选手最新发表的内容。
概括而言，他们研究了神经网络在 “grokking” 现象中的复杂性动态，即网络从记忆训练数据到实现完美泛化的过渡过程，并提出了一种基于失真压缩理论的新方法来衡量神经网络的复杂性。
首先，作者之一Branton DeMoss自述，他们受到了Sean Carroll和Scott Aaronson之前研究的启发。
通过观察咖啡与奶油混合的现象，Scott等人发现复杂性随着时间的推移首先上升，然后下降，这一过程与熵单调增加的趋势相似。
而DeMoss团队形式化了这一直觉，并将其应用于神经网络，以跟踪这些网络学习的抽象复杂度。
展开来说，作者们同样先介绍了grokking现象，即神经网络在长时间过度拟合训练数据后突然能够泛化的能力。
其中x轴表示优化步数，y轴表示准确率；红线代表训练集的准确率，绿线代表验证集的准确率。
可以看到，如果训练一个小型Transformer来进行模拟，在几百个训练步骤之后，模型已经完美地拟合了训练数据；然而，它直到大约10^5个训练步骤才能实现泛化。
为了解释这一现象，团队引入了一种基于失真压缩和Kolmogorov复杂性的新方法来衡量神经网络的复杂性，并通过这一框架追踪了grokking过程中网络复杂性的动态变化。
按照作者的比喻，这就像“神经网络的JPEG”。
研究结果表明，网络在从记忆到泛化的过渡中，其复杂性首先上升，随后在泛化发生时下降。
进一步地，研究发现如果神经网络没有任何形式的正则化（一种防止过拟合的技术），它将无法从记忆阶段过渡到泛化阶段，而是会无限期地保持记忆模式。
没有正则化的反应：
有正则化的反应：
此外，作者指出传统的复杂性评判标准（如参数数量和权重范数）并不能准确描述模型的复杂性，因为它们忽略了训练过程中的变化。
对此，他们采用了最小描述长度（MDL）原则和Kolmogorov复杂度来定义和近似复杂性，并通过实验验证了这种方法，并强调了简单模型在数据压缩中的优势。
最终，研究表明理解复杂性对预测模型泛化能力至关重要。
更多细节感兴趣可以查阅原论文（地址文末）。
可以看出，一个由AI最初提出的想法，最终由人类来完成了更细致的论证。
有网友就分析指出AI写的那篇实验结果不及人类研究员：
而之前撰写过“AI科学家”总论文的共同一作Cong Lu也表示：
谁知道未来AI还会激发出哪些其他想法……
BTW，就在Sakana AI公布“AI科学家独立生成10篇学术论文”的消息后，公司在9月份还拿到了一笔2亿美元的A轮融资，里面还有英伟达的参与。
总之，AI以后不仅能自己写论文，还能和人类搭配干活了。
论文：https://arxiv.org/abs/2412.09810
相关文章
今天由Bad Ridge Games开发的中世纪奇幻风开放式世界RPG游戏《欢欣森活》现已开启冬季特卖活动，玩家现在购买游戏可以享受到15%的特惠折扣。并且游戏还同步推出了新版内容「陨星之夜」，以及游2024-12-26
[流言板]气势如虹！塔特姆助攻杰伦-布朗命中三分，绿军12-4打停骑士由篮球资讯发表在篮球资讯 50211月20日讯 今日NBA杯赛凯尔特人对阵骑士的比赛正在进行中。比赛第一节，塔特姆助攻杰伦-布朗命2024-12-26
[情报站]GEN官宣：与五名选手、教练组全员2024年合约到期
[情报站]GEN官宣：与五名选手、教练组全员2024年合约到期由游戏电竞资讯发表在英雄联盟 lol11月19日讯 GEN官宣：与Kiin、Canyon、Chovy、Peyz、Lehends、主教练KI2024-12-26
11月19日消息，今晚，ROG游戏手机9系列正式开启预售，起售价是4999元。核心配置上，ROG游戏手机9系列采用三星6.78英寸E6 AMOLED柔性屏，刷新率是185Hz，前置3200万像素，标准2024-12-26
评选规则：候选球员由各场主播提名，主播投票占比30%，吧友投票占比70%，总计占比最高者当选最佳。今日提名：恩比德/76人108-98黄蜂今日数据：24中12，三分4中2，34分5篮板9助攻2抢断2封2024-12-26
由马特·沙克曼执导的漫威超级英雄电影《神奇四侠：第一步》，计划于2025年7月25日在北美上映，近日华特迪士尼影业新闻门户网站公布了该片的官方概要。简介中提到《神奇四侠：第一步》是以充满活力的20世纪2024-12-26
最新评论