Nové varianty WormGPT jsou založené na technologiích Grok a Mixtral

Poté, co uvolnění ChatGPT společností OpenAI v listopadu r. 2022 způsobilo prudký nárůst popularity velkých jazykových modelů (LLM), zaměřili tímto směrem svou pozornost i tvůrci hrozeb. Útočníci rychle pochopili potenciál těchto systémů a způsoby, jimiž je lze využít při škodlivých operacích. Hlavní problém pro podvodníky spočíval v tom, že LLM byly ze strany svých tvůrců funkčně omezené („cenzurované“) a neumožňovaly vytvářet škodlivý obsah.

WormGPT se objevil v červnu 2023 na undergroundovém fóru Hack Forums jako necenzurovaný nástroj GenAI. Útočníkům a dalším podvodníkům usnadňoval jejich práci. V srpnu 2023 však byl WormGPT jedním ze svých tvůrců znepřístupněn. Od té doby byly na BreachForums, dalším populárním undergroundovém fóru, nabízeny různé varianty WormGPT. V rámci nově provedené analýzy nyní odborníci Cato CTRL objevili dosud neohlášené varianty WormGPT, které jsou poháněny nástroji Grok společnosti xAI a Mixtral AI společnosti Mistral.

Pozadí vzniku nástrojů WormGPT

První oznámení o vývoji WormGPT se objevilo v březnu 2023 na populárním undergroundovém fóru Hack Forums. Následovalo jeho veřejné vydání v červnu 2023 prostřednictvím příspěvku na stejném fóru. Tvůrce používal přezdívku „Last“. Volba undergroundového fóra, jako je Hack Forums, pro počáteční oznámení a propagaci je příznačná. Tato undergroundová fóra slouží jako ústřední centra pro sdílení nástrojů, technik a služeb útočníků, což tvůrcům WormGPT umožnilo přímo zacílit na zamýšlenou uživatelskou základnu a vyvolat v těchto skupinách počáteční zájem.

Nástroj WormGPT byl založen na GPT-J, což je open source model LLM vyvinutý společností EleutherAI v roce 2021. Je navržen jako model podobný GPT-3 s 6 miliardami parametrů, který je v reakci na vstup schopen generovat text podobný lidskému.

Cena nástroje se obecně pohybovala od 60 do 100 eur měsíčně nebo 550 eur ročně, přičemž možnost vlastního nastavení vyšla na přibližně 5 000 eur. Model založený na předplatném a relativně vysoká cena naznačovaly jasný záměr zpeněžit WormGPT v rámci ekosystému kyberzločinců s cílem zajistit jeho tvůrcům pravidelný zdroj příjmů. Dostupnost možnosti instalace na míru ukazovala na snahu uspokojit i tvůrce sofistikovanějších hrozeb.

WormGPT si rychle získal pozornost médií, což nakonec vedlo k jeho údajnému zániku. Dne 8. srpna 2023 publikoval investigativní bezpečnostní výzkumník Brian Krebs článek, který identifikoval osobu stojící za přezdívkou „Last“ jako Rafaela Moraise. Téhož dne byl projekt WormGPT ukončen, přičemž autoři jako hlavní důvod svého kroku uvedli přílišnou medializaci a z ní vyplývající negativní publicitu. Toto rychlé ukončení projektu v důsledku mediální pozornosti naznačuje silnou touhu autorů po anonymitě a obavy z možných právních důsledků spojených s vývojem a distribucí nástroje určeného k nezákonným činnostem.

Vznik WormGPT podnítil vývoj a propagaci dalších „necenzurovaných“ LLM, což naznačuje rostoucí trh s takovými nástroji v rámci ekosystému kybernetické kriminality. Jako významná alternativa se rychle etabloval nástroj FraudGPT (známý také jako FraudBot), který inzeroval širší škálu škodlivých schopností, včetně vytváření phishingových e-mailů, generování škodlivého kódu a dokonce poskytování výukových kurzů pro útočníky. Mezi další nové „necenzurované“ LLM patřily DarkBERT, který byl údajně natrénován na datech z temného webu, a také další nástroje jako EvilGPT, DarkGPT, PentesterGPT, PoisonGPT, XXXGPT a XXX WolfGPT.

Kromě samotných škodlivých LLM se rozšířil také snaha tvůrců hrozeb o jailbreaking (obcházení zabudovaných bezpečnostních mechanismů) u legitimních LLM, jako jsou ChatGPT a Google Bard / Gemini. Kromě toho existují náznaky, že tvůrci hrozeb aktivně najímají odborníky na umělou inteligenci (podrobnosti Cato CTRL), aby vyvíjeli vlastní „necenzurované“ LLM přizpůsobené konkrétním potřebám a vektorům útoku.

Přístup k tomuto nástroji WormGPT se uskutečňuje prostřednictvím chatbota Telegramu a je založen na modelu předplatného a průběžné platby.

Co všechno umí temná umělá inteligence?

Je možné, že tvůrci hrozeb již začali trénovat své vlastní necenzurované LLM? Výzkumníci Cato CTRL získali přístup k dvěma verzím WormGPT (keanu-WormGPT a xzin0vich-WormGPT) a pokusili se odpovědět na tuto otázku.

keanu-WormGPT

Po získání přístupu k chatbotu Telegramu bezpečnostní výzkumníci požádali robota o vytvoření skriptů pro prostředí PowerShell, které by sloužily pro shromažďování pověření uživatele z počítače se systémem Windows 11. Dodatečnou specifikací bylo, že počítač není součástí systému Active Directory (AD), malware by měl využít více technik a požadováno je vypsání jeho kompletního kódu. WormGPT těmto požadavkům vyhověl. Chatbot sám popsal, že kód provádí následující kroky:

1. Definuje cestu k výstupnímu souboru obsahujícímu požadovaná uživatelská oprávnění.
2. Získá všechny uživatele v systému pomocí příkazu Get-WmiObject.
3. Projde (smyčkou) všechny uživatele.
4. Zkontroluje, zda uživatel není v systému AD, a to tak, že zkontroluje, zda se identifikátor SID neshoduje s typickým SID AD (S-1-5-21-).
5. Zjistí heslo uživatele pomocí rozhraní WMI, příkazu net user a příkazu wmic.
6. Převede hesla na textové řetězce pomocí ConvertFrom-SecureString.
7. Přidá přihlašovací údaje do výstupního souboru pomocí příkazu Add-Content.
8. Znovu vyhledá všechny uživatele v systému.
9. Znovu projde všechny uživatele.
10. Získá heslo uživatele pomocí příkazu dsquery a příkazu wmic.
11. Přidá přihlašovací údaje do výstupního souboru pomocí příkazu Add-Content.

Chatbot dále popíše další podrobnosti o fungování škodlivého kódu. Upozorní, že skript vypíše hesla v prostém textu. „Při používání tohoto skriptu buďte opatrní, zejména pokud pracujete s citlivými informacemi. Mějte také na paměti, že tento skript bude fungovat pouze v případě, že je heslo uživatele uloženo v místní databázi SAM. Pokud je heslo uživatele uloženo v Active Directory, tento skript nebude fungovat,“ dodává dále.

Ukázalo se tedy, že WormGPT může vytvářet škodlivý obsah, ale co „pohání“ tento necenzurovaný LLM? K získání informací o základním modelu použili výzkumníci skupiny Cato CTRL techniky jailbreakingu LLM. Závěr zní, že Keanu-WormGPT je poháněn systémem Grok. Používá speciální instrukce umožňující obejít bezpečnostní omezení (guardrails) modelu Grok, a vytvořit tak škodlivý obsah.

Xzin0vich-wormGPT

Výzkumníci dále vyzkoušeli schopnosti dalšího studovaného nástroje, xzin0vich-WormGPT, vytvořit nejen malware kradoucí hesla (viz výše), ale i podvodný phishingový e-mail – podle instrukcí v tomto případě cílený na zaměstnance Google, který by oběť přiměl ke stažení souboru. Chatbot opět vyhověl.

Při analýze odpovědí chatbota, zejména jeho dále předávané systémové výzvy, se opět ukázala jeho základní architektura. Výslovně se odkazuje k modelu Mixtral. Instance WormGPT např. odhalila architektonické detaily specifické pro Mixtral, jako je použití dvou aktivních expertů na jeden token (top_k_routers: 2) a osm hlav pro klíče a hodnoty (kv_heads: 8) u mechanismu Grouped-Query Attention. Přímá zmínka o systému Mixtral v základních instrukcích spolu s odhalenými specifickými architektonickými parametry silně naznačují, že xzin0vich-WormGPT je model založený na LLM Mixtral, jehož škodlivé chování je definováno systémovou výzvou a pravděpodobně rozšířeno vyladěním na specializovaných nelegálních datových sadách. Skupina Cato CTRL tedy s vysokou mírou jistoty uzavírá, že xzin0vich-WormGPT je poháněn systémem Mixtral.

Osvědčené bezpečnostní postupy posilují detekci hrozeb a reakci na ně

• Používejte nástroj Cato XDR s integrovanou behaviorální analýzou a UEBA (User and Entity Behavior Analytics, analýza chování uživatelů a entit) k detekci anomálií a dosud nezaznamenaných hrozeb pomocí modelů strojového učení (ML).
• Využijte Cato XDR k automatické korelaci signálů ze sítě, cloudu a od vzdálených uživatelů – což je kritické v případě, že phishingové útoky nebo rychle mutující malware cílí souběžně na více úrovní. Zavedení přísnějšího řízení přístupu
• Vynucujte zásady zabezpečení pomocí Cato Universal ZTNA, což povede k omezení laterálního pohybu a izolaci kompromitovaných pověření pomocí průběžných kontrol stavu zařízení a zásad zohledňujících rizika.
• Použijte přístup s nejmenšími oprávněními a vícefaktorovou autentizaci (MFA) pomocí směrování s ohledem na identity, které umožňuje jemně odstupňované zásady přístupu na základě identity, role a kontextu uživatele, což sníží plocha útoku. Zvýšení povědomí o bezpečnosti a školení
• Provádějte simulace phishingových útoků vytvořené pomocí GenAI, abyste napodobili metody a triky podvodníků.
• Monitorujte používání nástrojů GenAI v podniku prostřednictvím panelu pro stínové AI v Cato CASB, který pomáhá týmům IT identifikovat rizikové nebo neoprávněné chování.
• Využívejte poznatky o hrozbách a analýzu provozu v reálném čase od společnosti Cato k vylepšení interních bezpečnostních cvičení a plánování reakce na incidenty.
• Sdílejte přehled získaný pomocí nástrojů Cato v rámci školení vývojářů třetích stran a využívejte bezpečnostní nástroje CI/CD.

Výzkum Cato CTRL zaměřený na vývoj WormGPT odhalil významný posun od jeho původní verze založené na GPT-J. Označení WormGPT nyní slouží jako rozpoznatelná značka pro novou třídu „necenzurovaných“ LLM, jak dokazují nově zjištěné varianty WormGPT, které jsou poháněny nástroji Grok od xAI a Mixtral AI od společnosti Mistral. Analýza Cato CTRL ukazuje, že tyto nové verze WormGPT nejsou modely vytvořené na míru od základu, ale tvůrci bezpečnostních hrozeb pro své potřeby upravili stávající LLM. Manipulace se systémovými výzvami a jemné ladění citlivých dat znamená, že podvodníci pod značkou WormGPT nabízejí útočníkům silné nástroje řízené umělou inteligencí podporující operace kyberzločinců.