AI潮汐日报1128期:Sora泄露引发争议、百度早期研究对AI领域Scaling Law的贡献、Meta发布系列AI开源项目

发布于:2024-11-29 ⋅ 阅读:(9) ⋅ 点赞:(0)

AI 潮汐日报,旨在提供最新潮、最核心、最有意思的AI速递。四大专栏:今日热点、应用速递、研究进展、思维碰撞。

今日热点

OpenAI文本转视频模型Sora泄露引发争议

OpenAI的文本转视频AI模型Sora在Hugging Face上遭遇泄露,泄露者为参与测试的个人“PR-Puppets”,公开了试用接口。新模型相比2月版本,视频分辨率更高,物体运动更流畅。此次泄露暴露了创新、劳动与企业责任间的冲突,泄露者发布公开信批评OpenAI利用艺术家无偿劳动完善模型。事件引发对AI道德、版权和知识产权的讨论,凸显了AI发展中创造性劳动被低估和道德困境的问题。

百度早期研究对AI领域Scaling Law的贡献

百度在2017年就对深度学习模型的Scaling Law进行了研究,通过实证研究验证了模型泛化误差和模型大小随训练集规模增长的幂律关系。这项研究当时使用的是LSTM而非Transformer,并未命名为“Scaling Law”。Anthropic的CEO Dario Amodei在百度工作期间,受到这一研究启发,后来在OpenAI领导开发了GPT-2和GPT-3。百度的研究为理解模型性能随参数量、数据量、计算资源增加而指数提升的规律提供了早期证据,但其贡献在当时并未得到广泛认可。

Meta发布系列AI开源项目

Meta最近开源了多个AI项目,包括图像分割模型SAM 2.1、多模态语言模型Spirit LM、自学评估器和改进的跨语言句子编码器Mexma等,覆盖图像分割、语音、文本、表征、材料发现、密码安全性等多个领域。这些项目旨在提升AI在图像处理和语音识别领域的能力,并推动AI研究的进展。SAM 2.1增强了遮挡处理能力,Spirit LM实现了跨模态生成,Layer Skip加速了LLM生成时间,Salsa攻击和破解了NIST标准中的Krystals Kyber,Meta Lingua提供了轻量级语言模型训练平台,Open Materials 2024促进无机材料发现,Mexma改进了句子表征,Self-Taught Evaluator用于生成合成偏好数据训练奖励模型。这些开源项目将进一步推动AI技术的创新和应用。

应用速递

Luma AI推出Dream Machine AI创意平台

硅谷AI公司Luma AI推出了Dream Machine AI创意平台及其首款图像生成模型Luma Photon,旨在提供易于上手的AI视觉工具。该平台通过自然语言对话实现图片创作和编辑,提供创意点子,并根据用户输入生成风格一致的图片或视频。Luma AI通过技术优化和产品创新,在视频生成领域迅速崭露头角,其视频模型Dream Machine AI上线4天用户量破百万,且未进行任何付费营销。

谷歌DeepMind推出GenChess定制国际象棋工具

谷歌DeepMind团队发布了GenChess,一款AI工具,允许用户自由定制国际象棋棋子。用户可以选择“classic”或“creative”模式,无需编程基础即可设计每个棋子。例如,输入“cat”后,系统会生成猫科动物主题的棋子,国王为雄狮,皇后为豹子。GenChess还能自动生成对手的棋子,如狗主题,以匹配用户的棋子风格。用户在定制完成后,可以直接在平台上对弈,并可调整游戏难度。

研究进展

清华团队解析RNN在长上下文建模中的挑战

清华大学的研究团队深入分析了RNN模型在处理长上下文时表现不佳的原因,发现问题并非源于RNN本身。研究指出,RNN模型如Mamba在长上下文中面临的主要问题是循环状态过拟合和内存容量上限,导致无法有效处理超出训练长度的输入。通过对这些问题的对症下药,研究人员显著提升了Mamba-2模型在长上下文长度上的性能。Mamba作者Albert Gu对研究成果表示认可,并强调通过在更长序列上训练,可以提高模型的泛化能力。

清华EvoAI技术实现蛋白序列空间极端压缩

清华大学研究团队开发了EvoAI技术,通过EvoScan方法全面分割和扫描高适应度序列空间,仅用82个锚点实现蛋白序列空间的极端压缩,压缩率高达10的48次方。该技术结合高通量实验进化和计算方法,无需同源性或结构信息即可预测新的、高度拟合的序列。EvoAI的优势在于平衡适应度优化和序列空间采样,快速探索高维度,生成多样化功能性变体,并提供序列功能关系的丰富信息。

复旦NLP团队提出双模型协作架构提升AI推理能力

复旦大学NLP研究团队提出了一种双模型协作架构(Two-Player Paradigm),通过引入评判模型(Critique Model)为行为模型(Actor Model)提供步骤级反馈,实现模型自我改进。该架构不依赖模型蒸馏,而是通过多模型协作互动获得高质量反馈信号,提升性能。研究团队构建了AutoMathCritique框架自动生成步骤级反馈数据集MathCritique-76k,并基于此训练评判模型。实验表明,该架构能有效提升模型在数学推理任务上的表现,缓解长尾分布问题,并为实现Test-time和Training-time Scaling提供了新方法。

思维碰撞

谷歌前CEO警告AI恋人对青少年的潜在风险

谷歌前CEO埃里克·施密特在播客节目中对AI恋人的流行趋势提出警告,强调这些“完美”的AI伴侣可能对心智未成熟的青少年产生显著风险,使他们更加孤独,甚至可能导致极端主义或厌女现象。施密特指出,家长对孩子接触在线内容的控制能力有限,青少年可能无法消化他们接触到的善恶内容。他提到,依赖AI恋人可能会加剧社会问题,尤其是对于12岁或13岁的孩子,他们可能接触到世界上的善恶,但还没有能力处理这些信息。

谷歌Jeff Dean回应AlphaChip质疑

谷歌首席科学家Jeff Dean针对EDA界对其AI芯片设计系统AlphaChip的质疑发表回应,指出质疑者未遵循预训练等关键步骤,导致结果无效。他强调,AlphaChip已在谷歌内部多个项目中得到应用,且Nature杂志的调查也支持了其研究成果。Jeff Dean批评反对者基于未经验证的指控和缺乏证据的分析,认为这些质疑毫无根据,很大程度上是由一篇存在严重缺陷的未经同行评审的论文引起的。谷歌的回应显示了对AlphaChip方法的信心,并强调了其在实际芯片设计中的应用和效果。