当人工智能公司成为软件供应链漏洞的受害者时会发生什么

所有文章

20 月 XNUMX 日,OpenAI 拿下了流行的生成式 AI 工具 ChatGPT 几个小时。稍后再说 承认 中断的原因是源于开源内存数据存储库的软件供应链漏洞”Redis的“。  

由于此漏洞,存在一个时间窗口(太平洋标准时间 1 月 10 日上午 20 点至 XNUMX 点之间),用户可能会意外访问其他用户的聊天历史记录标题,并可能暴露与付款相关的信息,例如姓名、电子邮件地址、付款地址、信用卡类型和支付卡号的最后四位数字。 

这是一个相对较小的错误,很快就被发现并修复了。考虑到 ChatGPT 和其他生成式 LLM 的日益普及,更具针对性的 LLM 可能会产生什么后果? 软件供应链攻击?  

在本文中,我们将了解 20 月 XNUMX 日到底发生了什么以及用户信息是如何被泄露的。我们还将对更严重的潜在攻击进行一次短暂的想象之旅,看看可以暴露哪些信息以及可以采取哪些措施来帮助防止此类情况。我们将以一些一般性的内容结束 软件供应链安全 无论您的公司正在开发什么软件,这些建议都可能相关。 

这是发生了什么

与几乎所有其他软件公司一样,OpenAI 的代码在很大程度上依赖于开源库和代码。本例中,该bug是在Redis客户端开源库中发现的, 重新分配。这是公司自己的错误描述 叙事:

  • OpenAI 使用 Redis 在服务器中缓存用户信息,这样就不需要为每个请求检查数据库。 
  • Redis 集群用于将此负载分布到多个 Redis 实例上。 
  • redis-py 库用于与公司的 Python 服务器中的 Redis 进行交互,该服务器运行于 异步
  • 该库维护服务器和集群之间的共享连接池,并在完成后回收连接以用于另一个请求。
  • 使用 Asyncio 时,redis-py 的请求和响应表现为两个队列:调用者将请求推送到 传入队列,弹出响应 传出队列, 然后,将连接返回到池中。
  • 假设请求在被推送到传入队列之后但在响应从传出队列弹出之前被取消。在这种情况下,我们看到我们的 错误:连接已损坏,为不相关请求提取的下一个响应可以接收连接中遗留的数据。 
  • 在大多数情况下,这会导致不可恢复的服务器错误,用户将不得不再次尝试其请求。 
  • 但在某些情况下,损坏的数据恰好与请求者期望的数据类型匹配,因此从缓存返回的内容看起来是有效的,即使它属于另一个用户。
  • 太平洋时间 1 月 20 日星期一凌晨 XNUMX 点,OpenAI 无意中对其服务器进行了更改,导致 Redis 请求取消激增。这使得每个连接返回错误数据的概率高于平常。

这个特定的错误仅出现在 Redis 集群的 Asyncio redis-py 客户端中,此后已通过 OpenAI 工程师和 Redis 库维护人员的共同努力修复。 

提醒一下,此错误可能会无意中暴露另一个活跃用户的搜索标题以及该用户的部分付款信息。一些用户现在给予 ChatGPT 对其个人的完全或部分控制权 财政,这些信息的暴露可能会带来灾难性的后果。

这就是可能发生的情况

在本例中,OpenAi 从开源库 Redis 继承的软件供应链错误是一个相对简单且易于修补的错误。我想请您想象一种更严重的场景,即有针对性的软件供应链攻击,类似于我们访问过的攻击 SolarWinds的 发生并且在很长一段时间内未被发现,比如说几个月。

由于用户现在向 OpenAI 付费以更直接地访问其 LLM,因此此类攻击可能会泄露客户信息,包括其付款数据。但这并不是我们假设的黑客组织真正感兴趣的信息。ChatGPT 目前拥有 1.16十亿用户。 1 年 2023 月,它的用户数量突破了 55 亿。这些数字从 2023 年 2023 月到 XNUMX 年 XNUMX 月增长了近 XNUMX%。现在有许多人使用生成式 AI 来处理从艺术到历史作业再到财务的各种事务,不受限制地访问 OpenAI 数据库可能会揭示潜在的潜力无数用户的勒索信息。这 黑色镜子 剧集“闭嘴跳舞”(第 3 季第 3 集,2016 年)为此类明确信息落入无良之人手中提供了相当不错的想象力。如果您正在寻找更真实的平行世界, Ashley Madison数据泄露 自 2015 年以来,它产生了一些严重的后果,其中一些甚至在几年后仍然具有现实意义。

让我们在富有想象力的黑客中更进一步,说这个未命名的黑客组织不仅可以访问 OpenAI 数据库,而且还可以影响请求的结果。您能想象数百万人获得黑客组织量身定制的有针对性的财务建议的潜力吗?或者再次由我们神秘的黑客组织提供虚假的安全扫描信息或代码测试信息。事实上,ChatGPT 现在可以访问互联网,这使得将进出 OpenAI 服务器的信息隐藏为普通、无害的数据变得更加容易。

我就讲到这里,但我想你可以看到针对成功的法学硕士的软件供应链攻击可能造成的巨大潜在损害。

如何保护您自己和您的软件供应链

为了保护自己,你首先要做的事情之一就是增强你的怀疑感。不要暗中信任任何工具,无论它看起来多么良性,除非您可以保证您可以完全控制它的功能、它可能执行的操作以及它可以访问的资源。运行 ChatGPT 开源版本的选项 当地 可以让您更好地控制培训信息及其访问级别。

作为一家希望对潜力更加警惕的软件公司 软件供应链风险 通过它使用的开源包继承,我鼓励您查看 抄写员的解决方案。 Scribe 开发了一个平台,可以提高完整 SDLC 的透明度,包括您包含的所有软件包和继承的软件包以及您希望在此过程中进行的任何测试。该平台生成一个 斯博姆 对于您的每个构建,并将每个构建的所有收集的安全信息包含在一个位置。它还可以告诉您您的构建是否符合 SLSA 最高级别 3 以及 NIST 的 SSDF。新的 瓦林特工具 也允许你 制定自己的政策 并将它们应用到您想要的构建管道的任何部分。将所有安全信息保存在一处,并按构建随时间的推移进行排序,使您能够观察应用程序随着其依赖项和安全性的成熟而发生的变化。 

旗帜

人工智能的未来 

无论我们做什么,人工智能都会留下来。它在我们日常生活中的参与程度尚不清楚,但仅根据过去 6 个月的情况,似乎可以肯定我们正在寻找 LLM 技术及其用途的潜在分水岭时刻。随着人工智能使代码和全布应用程序的创建成为以“自然语言”找到正确提示的问题,我们可能会面临前所未有的大量应用程序,这些应用程序未经适当测试,也没有适当的安全保障措施来保护用户以及创建它们的人或公司。 

本月晚些时候,Scribe 将举办一场 网络研讨会 具体处理您是否可以信任人工智能来帮助您保护软件供应链的问题。如果您对此处阅读的内容有任何疑问,这将是提出这些问题的好地方和好时机。

由于 抄写员平台是免费的 每月最多使用 100 个构建,我鼓励你们中的任何人,无论是单个开发人员还是公司,都尝试一下,看看该平台可以满足您多少安全和监管需求。直到有一天,真正的情报人员会在屏幕后面倾听我们的声音,我们只能寻找其他方法来处理我们自己的安全,我相信,提高可见性作为信任的前身是一个很好的起点。

此内容由领先的端到端软件供应链安全解决方案提供商 Scribe Security 为您提供 - 为整个软件供应链中的代码工件以及代码开发和交付流程提供最先进的安全性。 了解更多