20월 XNUMX일 OpenAI는 인기 있는 생성 AI 도구인 ChatGPT를 몇 시간 동안 중단했습니다. 나중에 인정 된 중단 원인은 오픈소스 인메모리 데이터 저장소 라이브러리에서 발생한 소프트웨어 공급망 취약점 때문이라고 합니다.Redis'.
이 취약점으로 인해 사용자가 실수로 다른 사용자의 채팅 기록 제목에 액세스하고 이름, 이메일 주소, 결제 주소 등 결제 관련 정보가 노출될 수 있는 시간대(1월 10일 오전 20시~XNUMX시(PST))가 발생했습니다. , 신용카드 종류, 결제카드 번호 마지막 XNUMX자리를 입력하세요.
이는 상대적으로 사소한 버그로 빠르게 발견되어 패치되었습니다. ChatGPT 및 기타 생성적 LLM의 인기가 높아지는 것을 고려할 때 보다 목표화된 LLM의 결과는 무엇일까요? 소프트웨어 공급망 공격?
이번 글에서는 지난 20월 XNUMX일 정확히 무슨 일이 일어났는지, 이용자 정보가 어떻게 노출됐는지 알아보도록 하겠습니다. 또한 보다 심각한 잠재적 공격에 대해 짧은 가상 여행을 떠나 어떤 정보가 노출될 수 있는지, 그러한 사례를 방지하기 위해 무엇을 할 수 있는지 살펴보겠습니다. 몇 가지 일반적인 내용으로 마무리하겠습니다. 소프트웨어 공급망 보안 회사에서 어떤 소프트웨어를 사용하든 관련성이 있을 수 있는 제안입니다.
여기 무슨 일이 있었는지
거의 모든 다른 소프트웨어 회사와 마찬가지로 OpenAI의 코드는 오픈 소스 라이브러리 및 코드에 적지 않은 부분을 의존하고 있습니다. 이 경우 Redis 클라이언트 오픈소스 라이브러리에서 버그가 발견되었으며, redis 파이. 회사 자체에 나타나는 버그 설명은 다음과 같습니다. 다시 세다:
- OpenAI는 Redis를 사용하여 서버에 사용자 정보를 캐시하므로 모든 요청에 대해 데이터베이스를 확인할 필요가 없습니다.
- Redis 클러스터는 이 로드를 여러 Redis 인스턴스에 분산하는 데 사용됩니다.
- redis-py 라이브러리는 회사의 Python 서버에서 Redis와 인터페이스하는 데 사용됩니다. 아시시오.
- 라이브러리는 서버와 클러스터 간의 공유 연결 풀을 유지 관리하고 완료되면 다른 요청에 사용할 연결을 재활용합니다.
- Asyncio를 사용할 때 redis-py를 사용한 요청과 응답은 두 개의 대기열처럼 작동합니다. 수신 대기열, 에서 응답을 표시합니다. 나가는 대기열, 그런 다음 연결을 풀에 반환합니다.
- 요청이 들어오는 대기열로 푸시된 후 나가는 대기열에서 응답이 팝업되기 전에 취소되었다고 가정해 보겠습니다. 그 경우에 우리는 우리의 버그: 연결이 손상되고 관련 없는 요청에 대해 가져온 다음 응답이 연결에 남겨진 데이터를 수신할 수 있습니다.
- 대부분의 경우 이로 인해 복구할 수 없는 서버 오류가 발생하며 사용자는 요청을 다시 시도해야 합니다.
- 그러나 어떤 경우에는 손상된 데이터가 요청자가 예상한 데이터 유형과 일치하므로 캐시에서 반환된 내용이 다른 사용자에게 속하더라도 유효한 것처럼 보입니다.
- 1월 20일 월요일 오전 XNUMX시(태평양 표준시)에 OpenAI는 실수로 서버에 변경 사항을 도입하여 Redis 요청 취소가 급증했습니다. 이로 인해 각 연결에서 잘못된 데이터가 반환될 가능성이 평소보다 높아졌습니다.
이 특정 버그는 Redis 클러스터용 Asyncio redis-py 클라이언트에만 나타났으며 이후 OpenAI 엔지니어와 Redis 라이브러리 관리자의 공동 작업을 통해 수정되었습니다.
다시 한번 말씀드리지만, 이 버그로 인해 다른 활성 사용자의 검색 제목과 해당 사용자의 결제 정보 일부가 의도치 않게 노출될 수 있습니다. 일부 사용자는 이제 ChatGPT에 개인 정보에 대한 전체 또는 부분 제어권을 부여하고 있습니다. 재정, 이 정보가 노출되면 잠재적으로 치명적인 결과를 초래할 수 있습니다.
일어날 수 있는 일은 다음과 같습니다
이 경우 오픈 소스 라이브러리 Redis에서 OpenAi가 물려받은 소프트웨어 공급망 버그는 비교적 간단하고 쉽게 패치되었습니다. 좀 더 심각한 시나리오, 즉 표적 소프트웨어 공급망 공격이 발생한 경우를 상상해 보시기 바랍니다. SolarWinds 발생하고 상당한 기간(예: 몇 달) 동안 발견되지 않은 채로 남아 있습니다.
사용자는 이제 LLM에 보다 직접적으로 액세스하기 위해 OpenAI에 비용을 지불하고 있으므로 이러한 공격으로 인해 지불 데이터를 포함한 클라이언트 정보가 노출될 가능성이 있습니다. 그러나 그것은 실제로 우리의 가상 해커 그룹이 관심을 갖고 있는 정보가 아닙니다. ChatGPT는 현재 1.16 억 사용자. 1년 2023월 사용자 수는 55억 명을 넘어섰습니다. 이 수치는 2023년 2023월부터 XNUMX년 XNUMX월까지 거의 XNUMX% 증가한 수치입니다. 현재 수많은 사람들이 예술부터 역사 숙제, 재정에 이르기까지 모든 작업에 생성 AI를 사용하고 있으므로 OpenAI 데이터베이스에 대한 무제한 액세스는 잠재력을 드러낼 수 있습니다. 집계되지 않은 사용자에 대한 협박 정보. 그만큼 블랙 미러 에피소드 'Shut Up and Dance'(시즌 3, 에피소드 3, 2016)는 부도덕한 사람들의 손에 들어가는 이러한 노골적인 정보에 대해 꽤 좋은 상상력을 제공합니다. 보다 실제적인 유사점을 찾고 있다면 Ashley Madison 데이터 유출 2015년부터 몇 가지 심각한 결과가 발생했으며 그 중 일부는 몇 년이 지난 후에도 여전히 관련성이 있습니다.
우리의 상상력이 풍부한 해킹에서 좀 더 나아가 이 이름 없는 해커 그룹이 OpenAI 데이터베이스에 대한 액세스 권한을 얻을 수 있을 뿐만 아니라 요청 결과에도 영향을 미칠 수 있다고 말해 보겠습니다. 수백만 명의 사람들이 해커 그룹이 맞춤화한 맞춤형 금융 조언을 받을 수 있는 가능성을 상상할 수 있습니까? 또는 우리의 신비한 해커 그룹이 허위 보안 검색 정보나 코드 테스트 정보를 제공하는 경우도 있습니다. ChatGPT가 이제 인터넷에 액세스할 수 있다는 사실은 OpenAI 서버에 들어오고 나가는 정보를 일반 무해한 데이터에 불과한 것으로 숨기는 것이 더욱 쉬워졌습니다.
여기서 멈추겠습니다. 하지만 성공적인 LLM에 대한 소프트웨어 공급망 공격으로 인해 발생할 수 있는 막대한 잠재적 피해를 알 수 있다고 생각합니다.
자신과 소프트웨어 공급망을 보호하는 방법
자신을 보호하기 위해 가장 먼저 할 수 있는 일 중 하나는 의심을 강화하는 것입니다. 도구가 수행하는 작업, 잠재적으로 수행할 수 있는 작업, 액세스할 수 있는 리소스에 대한 완전한 제어권을 보장할 수 없다면 도구가 아무리 괜찮아 보이더라도 암묵적으로 신뢰하지 마십시오. ChatGPT의 오픈 소스 버전을 실행하는 옵션 장소 상에서 훈련 정보와 그에 대한 액세스 수준 모두에 대해 더 많은 제어권을 제공할 수 있습니다.
잠재력을 더욱 경계하고 싶은 소프트웨어 회사로서 소프트웨어 공급망 위험 사용하는 오픈 소스 패키지를 통해 상속되었으므로 확인해 보시기 바랍니다. 스크라이브의 솔루션. Scribe는 포함된 모든 패키지와 상속된 패키지는 물론 진행하려는 모든 테스트 측면에서 전체 SDLC에 대한 투명성을 높일 수 있는 플랫폼을 개발했습니다. 플랫폼은 SBOM 각 빌드에 대해 수집된 모든 보안 정보를 한 곳에 포함합니다. 또한 빌드가 SLSA(최대 레벨 3) 및 NIST SSDF를 준수하는지 여부도 알려줄 수 있습니다. 새로운 발린트 도구 또한 자신의 정책을 작성 원하는 빌드 파이프라인의 어느 부분에나 이를 적용할 수 있습니다. 모든 보안 정보를 한 곳에 저장하고 시간이 지남에 따라 빌드별로 정렬하면 종속성 및 보안 측면에서 애플리케이션이 성숙해짐에 따라 어떻게 변경되는지 관찰할 수 있습니다.
AI의 미래
AI는 우리가 무엇을 하든 항상 존재합니다. 일상 생활에 미치는 영향 수준은 추측의 문제이지만 지난 6개월만을 기준으로 볼 때 LLM 기술과 그 사용에 대한 잠재적인 분수령 순간을 보고 있는 것은 확실한 것 같습니다. AI가 코드 및 전체 앱 생성을 '자연어'에서 올바른 프롬프트를 찾는 문제로 만들면서 우리는 적절하게 테스트되지 않았거나 사용자를 보호할 적절한 보안 보호 장치가 없는 전례 없는 애플리케이션의 홍수에 직면할 수 있습니다. 그리고 그것을 만든 사람이나 회사.
이번 달 말에 Scribe는 웹 세미나 소프트웨어 공급망을 보호하는 데 AI를 신뢰할 수 있는지 여부에 대한 질문을 구체적으로 다룹니다. 여기에서 읽은 내용을 바탕으로 질문이 있는 경우 이 곳이 질문을 제시하기에 좋은 장소이자 시간이 될 것입니다.
이후 스크라이브 플랫폼은 무료입니다 한 달에 최대 100개의 빌드에 사용할 수 있으므로 단일 개발자 또는 회사 중 누구라도 사용해 보고 플랫폼이 얼마나 많은 보안 및 규제 요구 사항을 충족하는지 확인해 보시기 바랍니다. 진정한 지능이 화면 뒤에서 우리의 말을 듣는 그날까지 우리는 우리 자신의 보안을 처리할 수 있는 다른 방법을 찾아야 하며 신뢰의 전조로서 가시성을 높이는 것이 좋은 시작점이라고 믿습니다.
이 콘텐츠는 소프트웨어 공급망 전반에 걸쳐 코드 아티팩트와 코드 개발 및 전달 프로세스에 최첨단 보안을 제공하는 선도적인 엔드투엔드 소프트웨어 공급망 보안 솔루션 제공업체인 Scribe Security에서 제공합니다. 자세히 알아보기.
관련 게시물
