KI außer Kontrolle: Ein Artikel von Stefanie Schappert

(WK-intern) – Die Google Threat Intelligence Group veröffentlichte am Mittwoch einen aktualisierten Bericht, der eine entscheidende Veränderung in der Cyberbedrohungslandschaft aufzeigt – und alles dreht sich um KI.

Diese „Just-in-Time“-KI-Malware markiert laut Google eine „neue operative Phase des KI-Missbrauchs“. Sie wird bereits aktiv von Cyberkriminellen und staatlichen Akteuren gleichermaßen eingesetzt.

Google stellt klar, dass Angreifer KI nicht mehr nur als einfaches Produktivitätstool nutzen, sondern eine neuartige adaptive Malware entwickeln, die große Sprachmodelle (LLMs) als Waffe einsetzt, um dynamisch Skripte zu generieren, ihren eigenen Code zu verschleiern und sich in Echtzeit anzupassen.

Man sollte es nicht falsch verstehen: Angreifer nutzen weiterhin künstliche Intelligenz, um einfache, aber schwer erkennbare Phishing-Köder für Social-Engineering-Angriffe zu generieren. Ihr Arsenal wird jedoch durch modulare, selbstverändernde Tools erweitert, die herkömmliche Abwehrmechanismen umgehen können.

Google formuliert es so: „Diese Tools können KI-Modelle nutzen, um schädliche Funktionen bedarfsgerecht zu erstellen, anstatt sie fest in die Malware zu programmieren. Obwohl diese Technologie noch in den Kinderschuhen steckt, stellt sie einen bedeutenden Schritt hin zu autonomerer und adaptiverer Malware dar.“

Und obwohl die Forschung zeigt, dass sich einige dieser neuartigen KI-Techniken noch im experimentellen Stadium befinden, sind sie ein sicherer Vorbote zukünftiger Entwicklungen.

Besonders besorgniserregend an dieser Entwicklung ist die gesunkene Einstiegshürde. Google fand heraus, dass Untergrundmärkte multifunktionale KI-Toolkits für Phishing, Malware-Entwicklung und Schwachstellenforschung anbieten, sodass selbst weniger versierte Akteure auf diese Tools zugreifen können.

Unterdessen haben staatliche Gruppen wie Russland, Nordkorea, Iran und China bereits herausgefunden, wie sie KI-Tools im gesamten Angriffszyklus einsetzen können – von der Aufklärung und dem ersten Eindringen bis hin zur Aufrechterhaltung einer permanenten Präsenz, der lateralen Ausbreitung im Zielnetzwerk und dem Aufbau von Kommando- und Kontrollfähigkeiten sowie dem Datenabfluss.

Verteidiger müssen sich daher auf eine Ära adaptiver und autonomer Malware und KI-Tools einstellen, die in Echtzeit lernen, sich weiterentwickeln und Sicherheitsvorkehrungen umgehen. Dies stellt die heutige Generation von Cyberverteidigern vor neue Herausforderungen. Sie müssen lernen, selbstschreibenden Code, KI-generierte Angriffsketten und einen florierenden Handel mit KI-Toolkits zu bekämpfen.

Herkömmliche statische Signaturverteidigungen werden bald wirkungslos sein. Die ohnehin schon überlasteten CISOs müssen sich daher beeilen, auf anomaliebasierte Erkennung, modellbasierte Bedrohungsanalyse und Echtzeit-Verhaltensüberwachung umzusteigen.

Darüber hinaus werden KI-gestützte Tools die Erfolgsquote von Angreifern mit hoher Wahrscheinlichkeit erhöhen. Nicht etwa, weil jeder Angriff fehlerlos ist, sondern weil Automatisierung, Echtzeit-Anpassung und hochgradig personalisierte Köder die Angriffsfläche massiv vergrößern werden.

Und vergessen wir nicht die Auswirkungen, die diese KI-gesteuerten Cyberangriffe auf den Durchschnittsbürger haben werden.

Was passiert, wenn KI, die bereits jetzt öffentliche Beiträge, Biografien, Fotos und geleakte Daten einer Person analysieren kann, um deren Sprache, Referenzen und Beziehungen nachzuahmen, ihre Angriffsstrategie in Echtzeit an ihr Ziel anpasst?

KI-gestützte Betrügereien, Phishing-E-Mails, gefälschte Websites und Deepfakes (Sprache oder Video) werden weitaus überzeugender klingen und aussehen als je zuvor und die persönlichen Finanzen, die Privatsphäre und sogar die digitale Identität einem größeren Risiko aussetzen.

Das Ergebnis
Eine Ära, in der sich Cyberbetrug authentisch anfühlt, die Grenze zwischen Realität und Fiktion verschwimmt und der Durchschnittsbürger Angriffen ausgesetzt ist, die sich real und persönlich anfühlen und nahezu unmöglich zu erkennen sind.

ÜBER DIE AUTORIN

Stefanie Schappert, MSCY, CC, leitende Journalistin bei Cybernews, ist eine versierte Autorin mit einem Master in Cybersicherheit und arbeitet seit 2019 in der Sicherheitsbranche. Sie verfügt über mehr als zehn Jahre Erfahrung im größten amerikanischen Nachrichtenmarkt und war für Fox News, Gannett, Blaze Media, Verizon Fios1 und NY1 News tätig. Mit einem Schwerpunkt auf nationaler Sicherheit, Datenlecks, aktuellen Bedrohungen, Hackergruppen, globalen Themen und Frauen in der Technologiebranche ist sie außerdem als Kommentatorin für Live-Diskussionen, Podcasts, Radio und Fernsehen aktiv. Sie erwarb die ISC2-Zertifizierung „Certified in Cybersecurity (CC)“ im Rahmen des ersten CC-Pilotprogramms, nahm an zahlreichen Capture-the-Flag-Wettbewerben (CTF) teil und belegte den dritten Platz bei einem Templ-Wettbewerb.

AI Goes Rogue: Google Report Reveals Malicious LLMs Fuel Next-Gen Cyberattacks

By Stefanie Schappert

The Google Threat Intelligence Group published an updated report on Wednesday highlighting a critical shift in the cyber-threat landscape – and it’s all about AI. 

This “just-in-time” AI malware marks what Google is calling a “new operational phase of AI abuse.“ Moreover, it’s already being actively used by low-level cybercriminals and nation-state actors alike.  

Google makes it clear that attackers have moved from using AI as a simple productivity tool to creating the first-of-its-kind adaptive malware that weaponizes large language models (LLMs) to dynamically generate scripts, obfuscate their own code, and adapt on the fly.

Don’t get it wrong, attackers are still using artificial intelligence to generate basic and yet hard-to-detect phishing lures for social engineering attacks. But adding to their arsenal are built-to-go modular, self-mutating tools that can evade conventional defenses. 

As Google puts it: “These tools can leverage AI models to create malicious functions on demand, rather than hard-coding them into the malware. While still nascent, this represents a significant step toward more autonomous and adaptive malware.” 

And while the research indicates that some of these novel AI techniques are still in the experimental stage, they are a surefire harbinger of things to come. 

What also makes this evolution particularly worrying is the lowered barrier to entry. Google found that underground marketplaces are offering multifunctional AI toolkits for phishing, malware development, and vulnerability research, so even less-sophisticated actors can tap into the toolset.

Meanwhile, nation-state groups, such as Russia, North Korea, Iran, and China, have already figured out how to leverage AI tools across the full attack lifecycle, from reconnaissance and initial compromise to maintaining a persistent presence, moving laterally through the target network, and developing command-and-control capabilities and data exfiltration.

In effect, defenders must now prepare for an era of adaptive and autonomous malware and AI tools that learn, evolve, and evade in real-time, creating new challenges for this generation of cyber defenders, who must learn to combat self-rewriting code, AI-generated attack chains, and an underground AI toolkit economy.  

Traditional static signature defenses will soon become ineffective, leaving already burnt-out CISOs scrambling to quickly pivot to anomaly-based detection, model-aware threat intelligence, and real-time behavioural monitoring.

Furthermore, AI-enabled tooling will almost certainly raise attackers’ success rates; not because every attack is flawless, but because automation, real-time adaptation, and hyper-personalised lures will massively widen the attack surface.

And let’s not forget the trickle-down effect that these AI-driven cyberattacks will have on the average person. 

What happens when AI, which can already ingest a person’s public posts, bios, photos, and leaked data to mimic their language, references, and relationships, begins to tailor its attack strategy against its target in real-time? 

AI-fueled scams, phishing emails, fake websites, and voice or video deepfakes will sound and look far more convincing than ever before, putting personal finances, privacy, and even digital identity at greater risk.

The result? An era where cyber deception feels authentic, the line between real and fake blurs, and the average person is exposed to attacks that feel real, personal, and nearly impossible to detect.

ABOUT THE AUTHOR

Stefanie Schappert, MSCY, CC, Senior Journalist at Cybernews, is an accomplished writer with an M.S. in cybersecurity, immersed in the security world since 2019.  She has a decade-plus experience in America’s #1 news market working for Fox News, Gannett, Blaze Media, Verizon Fios1, and NY1 News.  With a strong focus on national security, data breaches, trending threats, hacker groups, global issues, and women in tech, she is also a commentator for live panels, podcasts, radio, and TV. Earned the ISC2 Certified in Cybersecurity (CC) certification as part of the initial CC pilot program, participated in numerous Capture-the-Flag (CTF) competitions, and took 3rd place in Temple University’s International Social Engineering Pen Testing Competition, sponsored by Google.  Member of Women’s Society of Cyberjutsu (WSC), Upsilon Pi Epsilon (UPE) International Honor Society for Computing and Information Disciplines. 

ABOUT CYBERNEWS

Cybernews is a globally recognized independent media outlet where journalists and security experts debunk cyber by research, testing, and data. Founded in 2019 in response to rising concerns about online security, the site covers breaking news, conducts original investigations, and offers unique perspectives on the evolving digital security landscape. Through white-hat investigative techniques, Cybernews research team identifies and safely discloses cybersecurity threats and vulnerabilities, while the editorial team provides cybersecurity-related news, analysis, and opinions by industry insiders with complete independence. 

Cybernews has earned worldwide attention for its high-impact research and discoveries, which have uncovered some of the internet’s most significant security exposures and data leaks. Notable ones include:

• Cybernews researchers discovered multiple open datasets comprising 16 billion login credentials from infostealer malware, social media, developer portals, and corporate networks – highlighting the unprecedented risks of account takeovers, phishing, and business email compromise.

• Cybernews researchers analyzed 156,080 randomly selected iOS apps – around 8% of the apps present on the App Store – and uncovered a massive oversight: 71% of them expose sensitive data.

• Recently, Bob Dyachenko, a cybersecurity researcher and owner of SecurityDiscovery.com, and the Cybernews security research team discovered an unprotected Elasticsearch index, which contained a wide range of sensitive personal details related to the entire population of Georgia. 

• The team analyzed the new Pixel 9 Pro XL smartphone’s web traffic, and found that Google’s latest flagship smartphone frequently transmits private user data to the tech giant before any app is installed.

• The team revealed that a massive data leak at MC2 Data, a background check firm, affects one-third of the US population.

• The Cybernews security research team discovered that 50 most popular Android apps require 11 dangerous permissions on average.

• They revealed that two online PDF makers leaked tens of thousands of user documents, including passports, driving licenses, certificates, and other personal information uploaded by users.

• An analysis by Cybernews research discovered over a million publicly exposed secrets from over 58 thousand websites’ exposed environment (.env) files.

• The team revealed that Australia’s football governing body, Football Australia, has leaked secret keys potentially opening access to 127 buckets of data, including ticket buyers’ personal data and players’ contracts and documents.

• The Cybernews research team, in collaboration with cybersecurity researcher Bob Dyachenko, discovered a massive data leak containing information from numerous past breaches, comprising 12 terabytes of data and spanning over 26 billion records.

• The team analyzed NASA’s website, and discovered an open redirect vulnerability plaguing NASA’s Astrobiology website.

• The team investigated 30,000 Android Apps, and discovered that over half of them are leaking secrets that could have huge repercussions for both app developers and their customers.

PR: CYBERNEWS

PB: The Google Threat Intelligence Group has just published an updated report on how threat actors use AI tools / ©: Google