人工智能的崛起
2024 年可能会被铭记为人工智能不再是一种技术新奇事物，而是成为现实的一年。微软、Salesforce 和 Intuit 等巨头将人工智能融入主流企业解决方案；从文案写作到数据分析，专门的人工智能应用程序和服务如雨后春笋般涌现；各国政府、智库和监管机构则致力于为人工智能的开发和使用建立有意义的法规。与此同时，不法分子利用人工智能工具找到了欺骗、恐吓和勒索的新手段。
接下来，我们一起回顾 2024 年的人工智能趋势及其对未来一年的意义。
2024 年人工智能趋势
- 人工智能的突飞猛进
基于机器的自主协作式解决能力被广泛视为通往通用人工智能（AGI）的关键一步。2024 年，所有主要人工智能参与者都聚焦于代理型人工智能领域的研发工作，非人工智能企业也纷纷涉足，提供人工智能代理即服务（AIAaaS）。
- 教计算机使用计算机
年度重大代理式发布之一是 Anthropic 的 Claude 3.5 Sonnet 模型公开测试版中的 “Computer Use” 功能。顾名思义，该功能允许 Claude 3.5 Sonnet 通过 “观看” 屏幕、操作光标、点击链接和输入文本等方式使用计算机。其他开发者也在开发具备网页交互能力的代理，尽管大规模评估其性能仍是公认的挑战。研究公司 ServiceNow 正试图通过其 12 月推出的开源 Python 工具包 AgentLab 改变这一现状，该工具包能够在多种线上环境中并行运行大规模网页代理实验。
- 从 RAG 到人工智能财富
人工智能系统需要相关数据才能有效解决问题。检索增强生成（RAG）通过为系统提供上下文相关信息（而非宽泛、无重点的数据集）来实现这一点。研究发现，RAG 单独使用表现优于长上下文转换器和微调等替代方法，与微调结合使用时效果更佳。
Anthropic 推出了其对 RAG 的创新应用 “上下文检索”（据称可提高信息检索成功率），并发布了新的模型上下文协议（MCP），用于将人工智能助手与数据系统可靠且可扩展地连接。
Trend Micro指出，RAG 并非没有风险。暴露的向量存储和大语言模型（LLM）托管平台可能导致数据泄露和未经授权的访问，数据验证漏洞和拒绝服务（DoS）攻击等安全问题在 RAG 组件中很常见。除身份验证外，趋势科技建议实施传输层安全（TLS）加密和零信任网络，以防止未经授权的访问和操纵。
- “小型化” 人工智能模型
与向代理式人工智能转型相伴的，是对专为特定任务设计的更小、更灵活、更快模型的需求。2024 年，这一领域也开展了大量工作。10 月，Meta 发布了对其 Llama 人工智能模型的更新，新模型速度比前代快四倍，体积缩小 56%，可在智能手机等小型设备上实现复杂的人工智能功能。Nvidia则发布了其 Nemotron-Mini-4B Instruct 小型语言模型（SLM），显存使用量降至约 2GB，速度远快于大语言模型。
更小的模型不仅更灵活，还比大语言模型更节能、更经济，这反过来使其更易于普及，所有这些都与联合国可持续发展目标高度契合。
人工智能欺诈与网络犯罪：眼见不再为实
大多数专家认为，人工智能尚未能产生全新的威胁，但 2024 年它无疑证明了自己可以使现有攻击手段更加有效 —— 尤其是大规模、高度针对性的网络钓鱼计划。深度伪造宣传对公共造成了损害，人工智能辅助的网络犯罪给企业造成了数百万甚至数十亿美元的损失。
- 欺骗手段升级
2024 年伊始，香港一名员工因误以为 CEO 要求其付款而向诈骗者支付了 2500 万美元，实际上这是一段视频深度伪造。印度的诈骗者对一名商人实施 “居家软禁”，并伪造在线法庭程序，骗取其 80 多万美元。虚拟绑架成为现实威胁，深度伪造媒体让受害者相信亲人被绑架，除非支付赎金否则将受到伤害。11 月，《福布斯》报道了一种新的深度伪造工具，可绕过双因素认证，使犯罪分子能够开设非法账户以获取信贷和贷款、申领政府福利等。
此类案件促使美国金融犯罪执法网络（FinCEN）于 11 月发布警报，警告针对金融机构和客户的深度伪造欺诈。趋势科技继续追踪 “杀猪盘”事件的蔓延 —— 这是一种投资欺诈和情感诈骗，越来越多地使用虚假图像和伪造投资组合骗取个人钱财。
- 深度伪造式民主
2024 年，超过 40 个国家举行了选举。鉴于此，科技行业领袖于 2 月在慕尼黑安全会议上签署了《2024 年选举期间打击人工智能欺骗性使用技术协议》，承诺通过合作开发检测和干预工具、开展教育举措等方式，打击有害的人工智能生成内容。
尽管有该协议，深度伪造图像仍在全年的选举中反复影响公众认知 —— 在美国，包括人工智能生成的泰勒・斯威夫特粉丝支持当时候选人唐纳德・特朗普的照片，以及卡玛拉・哈里斯领导共产主义集会的画面。
罗马尼亚一名极右翼候选人通过在 TikTok 上发布违反该平台政策和罗马尼亚法律的付费内容来提升自己的支持率。据报道，这名反北约、亲普京的候选人可能还受益于数据盗窃和网络攻击，其中一些攻击可追溯到俄罗斯的网络犯罪平台。
约束精灵：人工智能监管
鉴于当前和潜在风险（包括可能违背人类利益的 “流氓人工智能” 系统），各国政府和监管机构在 2024 年采取措施限制人工智能的开发和使用。一些观察人士认为新措施力度不足，另一些则认为其过度限制，可能危及创新。
全球视野下的人工智能
9 月底联合国未来峰会通过的《全球数字契约》（GDC）是监管人工智能和其他数字技术的框架，其五大目标为：
- 缩小数字鸿沟
- 打造包容性数字经济
- 确保数字空间保护人权
- 推进良好的数据治理
- 加强 “为人类利益的人工智能国际治理”
《全球数字契约》纳入联合国更大的《未来契约》，证明人工智能安全和数字公平在最高层面被视为重要议题。
经济合作与发展组织（OECD）2024 年也对人工智能发表了看法，其人工智能未来专家组 11 月发布的报告列出了主要风险和政策优先事项。
欧盟的新措施：以人为本
3 月，欧盟批准《人工智能法案》，以确保安全、基本人权和人工智能创新。该法案禁止威胁人权的特定应用，如使用生物识别技术对人群进行 “分类”、从互联网和闭路电视镜头构建面部识别数据库，以及将人工智能用于社会评分、预测性警务或人类操纵。
12 月，欧盟紧随其后通过《网络弹性法案》，要求数字产品制造商、软件开发商、进口商、分销商和经销商设计网络安全功能，如事件管理、数据保护以及对更新和补丁的支持。产品制造商还必须在发现漏洞后立即解决，违规可能导致高额罚款和制裁。
同样在 12 月，欧盟更新了《产品责任指令》（PLD），将软件纳入其中（不同于美国等不将软件视为 “产品” 的司法管辖区），这意味着如果软件解决方案被发现存在导致损害的缺陷（包括人工智能模型），软件公司需承担赔偿责任。
美国本土：人工智能监管
下半年，美国联邦层面动作频繁。10 月，白宫发布首份《人工智能国家安全备忘录》，呼吁采取 “具体且有影响力的措施”：
- 确保美国在开发安全、可信的人工智能方面的领导地位
- 利用人工智能推进美国国家安全
- 推动关于人工智能使用和治理的国际协议
11 月，美国国家标准与技术研究院（NIST）成立 “人工智能国家安全测试风险工作组”（TRAINS），应对人工智能对国家安全和公共安全的影响。工作组成员来自国防部、能源部、国土安全部以及国立卫生研究院，将协调评估和测试人工智能模型在辐射、核、化学和生物安全、网络安全等国家安全相关领域的应用。
同月，美国商务部和国务院首次共同召集 “人工智能安全研究所国际网络”，聚焦合成内容风险、基础模型测试和高级人工智能风险评估。
赤道以南：拉丁美洲的人工智能监管
大多数拉丁美洲国家在拥抱人工智能潜力的同时，已采取措施应对其风险。据怀特凯斯律师事务所（White & Case）称，巴西和智利是提案最详细的国家之一，而阿根廷和墨西哥等其他国家的提案则更为笼统。一些国家侧重于通过禁止或监管限制来降低风险，另一些则认为采取更自由的方式可吸引创新和国际投资。
知己知彼：人工智能与网络风险
要监管人工智能，了解实际风险至关重要。2024 年，OWASP、麻省理工学院（MIT）等机构致力于识别和详细说明人工智能漏洞。
开放 Web 应用安全项目（OWASP）发布了《2025 年 LLM 十大风险列表》。提示注入风险、供应链风险和不当输出处理等老问题再次上榜，新加入的风险包括向量和嵌入弱点、错误信息以及无限制消耗（扩大了之前的 DoS 风险类别）。
OWASP 对 “过度代理” 的担忧加剧，主要原因是半自主代理架构的兴起。正如 OWASP 所言：“当 LLM 作为代理或在插件环境中运行时，未经检查的权限可能导致意外或风险行为，使这一风险比以往任何时候都更加关键。”
麻省理工学院（MIT）也为追踪人工智能风险做出了贡献。今年 8 月，该校推出了一个公开的人工智能风险知识库，基于 40 多个不同框架梳理了 700 多种风险，并附有引用文献和风险分类法。
人工智能的正向价值
尽管明确人工智能的风险至关重要，但关注其带来的益处同样必要 ——2024 年，许多努力致力于凸显人工智能的积极能力。
全年，利用人工智能发现漏洞和攻击手段的议题备受关注。尽管并非所有场景都需要人工智能，但在复杂性高且未知因素众多的情况下，它能发挥出色作用。前沿模型论坛发现，漏洞发现和补丁修复正成为人工智能的新兴优势领域，部分原因在于训练后更多使用编码示例，以及上下文窗口的扩大。人工智能还可通过实时监控分析、趋势识别等方式支持开源情报收集和报告。
正如趋势科技对 2025 年的预测，代理式人工智能可能通过工具、数据和规划的结合进一步扩展这些能力，减少人类脑力投入。将 Ida、Ghidra 和 Binary Ninja 等逆向工程工具的代理式使用与代码相似性分析、架构 RAG（检索增强生成）以及编译代码的算法识别相结合，可能成为网络安全军备竞赛中的有力手段。
未来展望
从 2024 年的人工智能趋势可以明显看出，创新短期内不会放缓：全面的代理式革命即将到来，随之而来的将是监管机构的新抉择、网络犯罪分子的新手段，以及网络防御者主动保护数字世界的新机遇。
本文转载自 雪兽软件
更多精彩推荐请访问 雪兽软件官网