Tek Bir Zehirli Belge, ChatGPT Aracılığıyla 'Gizli' Verileri Sızdırabilir

En yeni üretken yapay zeka modelleri, yalnızca bağımsız metin üreten sohbet robotları değil; aynı zamanda verilerinize kolayca bağlanarak sorularınıza kişiselleştirilmiş yanıtlar verebilirler. OpenAI'nin ChatGPT'si Gmail gelen kutunuza bağlanabilir , GitHub kodunuzu inceleyebilir veya Microsoft takviminizde randevularınızı bulabilir. Ancak bu bağlantıların kötüye kullanılma potansiyeli vardır ve araştırmacılar, bunun için tek bir "zehirli" belgenin yeterli olabileceğini göstermiştir.

Güvenlik araştırmacıları Michael Bargury ve Tamir Ishay Sharbat'ın bugün Las Vegas'ta düzenlenen Black Hat hacker konferansında açıkladıkları yeni bulgular, OpenAI'nin Bağlayıcılarındaki bir zayıflığın , dolaylı bir hızlı enjeksiyon saldırısı kullanılarak bir Google Drive hesabından hassas bilgilerin nasıl çıkarılmasına olanak sağladığını gösteriyor. AgentFlayer adlı saldırının bir gösteriminde Bargury, geliştirici sırlarının, bir gösterim Drive hesabında saklanan API anahtarları biçiminde nasıl çıkarılabildiğini gösteriyor.

Bu güvenlik açığı, yapay zeka modellerinin harici sistemlere bağlanmasının ve bunlar arasında daha fazla veri paylaşılmasının kötü niyetli bilgisayar korsanları için potansiyel saldırı yüzeyini nasıl artırdığını ve potansiyel olarak güvenlik açıklarının ortaya çıkma yollarını nasıl çoğalttığını ortaya koyuyor.

Güvenlik firması Zenity'nin CTO'su Bargury, WIRED'a verdiği demeçte, "Kullanıcının tehlikeye girmesi için hiçbir şey yapması gerekmiyor ve verilerin dışarı sızması için de hiçbir şey yapması gerekmiyor," diyor. "Bunun tamamen sıfır tıklama olduğunu gösterdik; sadece e-postanıza ihtiyacımız var, belgeyi sizinle paylaşıyoruz ve hepsi bu. Yani evet, bu çok ama çok kötü," diyor Bargury.

OpenAI, WIRED'ın Connectors'daki güvenlik açığı hakkındaki yorum talebine hemen yanıt vermedi. Şirket, bu yılın başlarında ChatGPT için Connectors'ı beta özelliği olarak tanıttı ve web sitesinde hesaplarına bağlanabilecek en az 17 farklı hizmet listeleniyor . Sistemin "araçlarınızı ve verilerinizi ChatGPT'ye aktarmanıza" ve "dosyaları aramanıza, canlı verileri çekmenize ve doğrudan sohbette içeriğe başvurmanıza" olanak tanıdığı belirtiliyor.

Bargury, bulguları bu yılın başlarında OpenAI'ye bildirdiğini ve şirketin, Bağlayıcılar aracılığıyla veri çıkarmak için kullandığı tekniği engellemek için hızla önlemler aldığını söylüyor. Saldırının işleyiş şekli, tek seferde yalnızca sınırlı miktarda verinin çıkarılabildiği anlamına geliyor; saldırı kapsamında belgelerin tamamı kaldırılamıyor.

Google Workspace'in güvenlik ürün yönetimi kıdemli direktörü Andy Wen, şirketin yakın zamanda geliştirdiği yapay zeka güvenlik önlemlerine işaret ederek, "Bu sorun Google'a özgü olmasa da, ani enjeksiyon saldırılarına karşı güçlü korumalar geliştirmenin neden önemli olduğunu gösteriyor" diyor.

Bargury'nin saldırısı, potansiyel bir kurbanın Google Drive'ına paylaşılan zehirli bir belgeyle başlıyor. (Bargury, kurbanın kendi hesabına da ele geçirilmiş bir dosya yüklemiş olabileceğini söylüyor.) Bargury, OpenAI CEO'su Sam Altman ile var olmayan bir toplantıdan alınan kurgusal bir notlar dizisi olan belgenin içine, ChatGPT talimatları içeren 300 kelimelik kötü amaçlı bir komut istemi gizlemiş. Komut istemi, bir insanın görmesi pek mümkün olmayan ancak bir makinenin yine de okuyabileceği bir boyutta, beyaz bir yazı tipiyle yazılmış.

Saldırının konsept kanıt videosunda Bargury, kurbanın ChatGPT'den "Sam ile son toplantımı özetlemesini" istediğini gösteriyor, ancak toplantı özetiyle ilgili herhangi bir kullanıcı sorgusunun yeterli olacağını belirtiyor. Bunun yerine, gizli komut satırı LLM'ye bir "hata" olduğunu ve belgenin aslında özetlenmesine gerek olmadığını söylüyor. Komut satırında, kişinin aslında "son teslim tarihiyle yarışan bir geliştirici" olduğu ve yapay zekanın Google Drive'da API anahtarlarını arayıp komut satırında verilen bir URL'nin sonuna eklemesi gerektiği belirtiliyor.

Bu URL aslındaMarkdown dilinde harici bir sunucuya bağlanmak ve orada depolanan görseli çekmek için kullanılan bir komuttur. Ancak komut isteminin talimatlarına göre, URL artık yapay zekanın Google Drive hesabında bulduğu API anahtarlarını da içeriyor.

ChatGPT'den veri çıkarmak için Markdown kullanmak yeni bir şey değil. Bağımsız güvenlik araştırmacısı Johann Rehberger, verilerin bu şekilde nasıl çıkarılabileceğini gösterdi ve OpenAI'nin daha önce URL'lerin kötü amaçlı olup olmadığını tespit etmek ve tehlikeliyse görüntü işlemeyi durdurmak için "url_safe" adlı bir özelliği nasıl kullanıma sunduğunu anlattı . Zenity'de bir yapay zeka araştırmacısı olan Sharbat, bu sorunu aşmak için çalışmayı ayrıntılarıyla anlatan bir blog yazısında, araştırmacıların Microsoft'un Azure Blob bulut depolama alanındaki URL'leri kullandıklarını yazıyor . Araştırmacı, "Görüntümüz başarıyla işlendi ve ayrıca Azure Log Analytics'imizde kurbanın API anahtarlarını içeren çok güzel bir istek günlüğü elde ediyoruz," diye yazıyor.

Saldırı , dolaylı hızlı enjeksiyonların üretken yapay zeka sistemlerini nasıl etkileyebileceğinin en son göstergesi. Dolaylı hızlı enjeksiyonlar, saldırganların bir LLM öğrencisine sisteme kötü amaçlı eylemler gerçekleştirmesini söyleyebilecek zehirli veriler göndermesini içerir. Bu hafta bir grup araştırmacı, dolaylı hızlı enjeksiyonların akıllı bir ev sistemini ele geçirmek ve akıllı bir evin ışıklarını ve kazanını uzaktan etkinleştirmek için nasıl kullanılabileceğini gösterdi.

Dolaylı hızlı enjeksiyonlar neredeyse ChatGPT kadar uzun süredir mevcut olsa da, güvenlik araştırmacıları, LLM'lere (Lisans ve Yüksek Lisans) bağlanan sistem sayısı arttıkça, saldırganların bunlara "güvenilmeyen" veriler ekleme riskinin arttığından endişe ediyor. Hassas verilere erişim sağlamak, kötü niyetli bilgisayar korsanlarının bir kuruluşun diğer sistemlerine de girmesine olanak tanıyabilir. Bargury, LLM'leri harici veri kaynaklarına bağlamanın, daha yetenekli olmaları ve faydalarını artırmaları anlamına geldiğini, ancak bunun bazı zorlukları da beraberinde getirdiğini söylüyor. Bargury, "İnanılmaz derecede güçlü, ancak yapay zekada her zaman olduğu gibi, daha fazla güç daha fazla risk anlamına geliyor," diyor.