IT之家1月30日消息援引路透社1月29日的一项新研究称，当大规模开源语言模型在外部计算机上运行，打破了各大平台的壁垒和限制时，它们很容易成为黑客和犯罪分子劫持的目标，并可能引入新的漏洞和安全风险。研究人员表示，攻击者可以通过直接瞄准运行大型语言模型的主机并操纵这些模型来生成垃圾邮件、发布网络钓鱼内容或发起虚假信息活动，从而绕过大型平台的自然安全机制。这项调查由 SentinelOne 和 Censys 两家网络安全公司历时 293 天完成，并独家提供给路透社，揭示了大规模部署数千种开源语言模型背后可能存在的非法使用规模。研究人员表示，风险场景包括黑客攻击、仇恨言论和骚扰、制作图形和暴力内容、身份盗窃、欺诈和欺骗，个别案件甚至儿童性虐待。研究人员指出，大规模开源语言模型存在大量变体，并且互联网上可访问的运行示例中有很大一部分来自于主流模型的版本，例如 Meta 的 Llama 和 Google DeepMind 的 Gemma。 IT之家从报告中了解到，一些开源模型内置了安全屏障，但我们的调查仍然发现数百起安全屏障被明确移除的案例。 SentinelOne 情报和安全研究执行董事 Juan Andrés Guerrero-Saade 强调，业界有关安全控制的讨论“忽略了明显的剩余容量”，开源计算能力可用于多种目的，包括合法用途和明显的犯罪用途。 Guerrero-Saade 将这种现象比作业界和开源社区仍未完全理解的“冰山”。这研究团队我们专注于分析通过 AMA 实施并公开发布的大规模开源语言模型的实例。 Ollama 是一个工具，允许个人和机构在本地运行不同模型的自己版本。在大约四分之一的观察对象中，研究人员能够读取系统的关键字，即决定模型行为的核心指令。在这些可见关键词中，7.5% 被确定有可能支持有害行为。全球人工智能治理中心首席执行官兼创始人雷切尔·亚当斯(Rachel Adams)在一封电子邮件中表示，开放模型一旦推出，责任就不再属于单一实体，而是由生态系统共同承担，包括最初推出该模型的机构。虽然不可能让实验室对所有后续不当行为负责，因为这些行为很难提前预测，但实验室仍然具有重要意义。蚂蚁有义务预测可预见的风险、记录危害并提供缓解工具和指导，特别是在全球执法能力参差不齐的情况下。
特别提示：以上内容（包括图片、视频，如有）由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
注：续以上内容（包括图片和视频，如有）由仅提供信息存储服务的社交媒体平台网易号用户上传并发布。
近期评论