Forscher des KTH Royal Institute of Technology haben ein System vorgestellt, das Cyberangriffe auf industrielle Steuerungsanlagen (OT) selbstständig erkennt und geeignete Gegenmaßnahmen einleitet. Der zugrunde liegende Verteidigungsagent stützt sich dabei ausschließlich auf Messungen des Netzwerkverkehrs und entscheidet auf dieser Basis in kurzen Zeitabständen, ob und wie er eingreift.

Ein wachsendes Problem für kritische Infrastruktur

Systeme der sogenannten Operational Technology (OT) steuern und überwachen industrielle Prozesse – etwa in Wasserwerken, Energienetzen oder Produktionsanlagen. Solche Systeme geraten zunehmend ins Visier von Cyberangriffen.

Laut den Autoren der Studie stieg die Zahl der OT-Angriffe zwischen 2019 und 2023 jährlich um mehr als 90 Prozent, während Ransomware-Vorfälle in Industrieunternehmen im Jahr 2024 um 87 Prozent zunahmen.

Auch wenn OT-Systeme insgesamt seltener angegriffen werden als klassische IT-Infrastruktur, fallen die Folgen oft schwerer ins Gewicht: Betroffen sind häufig essenzielle Dienstleistungen, die weit über einzelne Unternehmen hinaus ganze Regionen oder Gemeinschaften betreffen. Als bekannte Beispiele nennen die Forscher die Vorfälle TRITON/TRISIS, Industroyer2 und FrostyGoop.

Ein wesentlicher Treiber der steigenden Angriffszahlen ist die zunehmende Verschmelzung von IT und OT. Um Überwachung, Datenerfassung und effizientere Betriebsabläufe zu ermöglichen, werden klassische IT-Komponenten zunehmend in physische OT-Netzwerke integriert. Dadurch entstehen neue Zugangswege aus Unternehmensnetzwerken in die eigentliche Produktionsumgebung, was die Angriffsfläche insgesamt vergrößert. Hinzu kommt, dass OT-Infrastrukturen historisch bedingt häufig ein geringeres Schutzniveau aufweisen als klassische IT-Systeme.

Bestehende Sicherheitsrichtlinien setzen bislang vor allem auf vorbeugende Maßnahmen wie Netzwerksegmentierung, Schwachstellenanalysen und überwachungsbasierte Kontrollen. Die eigentliche Reaktion auf einen laufenden Angriff – etwa das gezielte Zurücksetzen einzelner Systeme oder die Isolation von Netzwerksegmenten – liegt dabei meist weiterhin bei menschlichem Personal. Automatisierte Reaktionsmechanismen sind in diesen Richtlinien bislang kaum vorgesehen.

Bisheriger Forschungsstand

Frühere Ansätze zur automatisierten Reaktion auf Eindringversuche in IT- und OT-Systemen basierten überwiegend auf regelbasierten Vorgaben, etwa vordefinierten Firewall-Regeln oder SDN-Konfigurationen, die von menschlichen Experten festgelegt und gepflegt werden mussten. In den vergangenen Jahren rückten zunehmend lernbasierte Verfahren in den Fokus, die nicht auf starren Regeln, sondern auf dem Auswerten von Systemmessungen beruhen – vor allem Methoden des verstärkenden Lernens (Reinforcement Learning).

Ein Teil dieser Ansätze arbeitet mit heuristischen Strategien ohne formales Systemmodell, wodurch sich kaum beurteilen lässt, wie nah eine erlernte Strategie an einer theoretisch optimalen Lösung liegt. Andere Arbeiten nutzen formale Modelle wie Markov-Entscheidungsprozesse, teilweise beobachtbare Markov-Entscheidungsprozesse oder stochastische Spiele. Die meisten dieser Modelle setzen jedoch voraus, dass der Systemzustand oder die Aktionen eines Angreifers vollständig einsehbar sind – eine Annahme, die in der Praxis selten zutrifft und die Aussagekraft der Ergebnisse einschränkt. Einige Studien arbeiten zwar mit realistischeren Beobachtungsmodellen, lassen aber offen, wie sich solche Beobachtungen in einem realen System tatsächlich gewinnen lassen.

Der untersuchte Anwendungsfall

Die vorliegende Arbeit setzt genau an diesem Punkt an und untersucht einen konkreten Anwendungsfall der Reaktion auf Eindringversuche in einer OT-Infrastruktur, die nach dem sogenannten Purdue-Modell mit Netzwerksegmentierung aufgebaut ist. Ziel eines Angreifers ist es dabei, die industriellen Prozesse zu stören, die bestimmte Tanks in der Anlage steuern. Der Angreifer arbeitet sich dazu schrittweise durch die Infrastruktur vor – über Aufklärung, das Scannen nach Schwachstellen, deren Ausnutzung sowie die Inspektion einzelner Hosts.

Aufgabe des Verteidigers ist es, den normalen Betrieb aufrechtzuerhalten und diesen Aktionen entgegenzuwirken. Dafür überwacht er die Infrastruktur fortlaufend und trifft auf Basis der beobachteten Netzwerkdaten eine Abfolge von Abwehrentscheidungen.

Aufbau des Testsystems

Um dieses Szenario praktisch zu untersuchen, entwickelten die Forscher eine containerbasierte Nachbildung der Zielinfrastruktur. Über einen Zeitraum von 14 Tagen griffen sie dieses emulierte System wiederholt an und zeichneten währenddessen den entstehenden Netzwerkverkehr auf. Diese Messdaten dienten anschließend dazu, das Beobachtungsmodell des POMDP zu schätzen – also abzubilden, welche Rückschlüsse sich aus dem Datenverkehr auf den tatsächlichen Systemzustand ziehen lassen.

Der trainierte OT-Verteidigungsagent erhält in regelmäßigen Intervallen sechs Kennzahlen: die Anzahl der Datenpakete, die zwischen den Netzwerksegmenten sowie zu und von einzelnen Maschinen übertragen werden. Aus diesen Werten schätzt er ab, wie weit ein Angreifer bereits vorgedrungen ist, und wählt daraufhin eine der folgenden Reaktionen:

• keine Maßnahme ergreifen
• einen von drei Überwachungshosts zurücksetzen
• einen von zwei Wassertank-Prozessen zurücksetzen
• sämtliche Hosts in den Überwachungs- und Steuerungssegmenten gleichzeitig zurücksetzen

Ein solcher Reset führt zu einem Neustart des betroffenen Systems, erneuert dessen Zugangsdaten und weist ihm eine neue IP-Adresse zu. Das kann den laufenden Industriebetrieb kurzzeitig unterbrechen. In einem der beobachteten Fälle entschied sich der Agent allein anhand der ausgewerteten Paketzahlen dafür, einen laufenden Prozess abzubrechen – die Anlage konnte den daraus resultierenden kurzen Ausfall anschließend selbstständig ausgleichen.

Formale Grundlage: Das POMDP-Modell

Das Szenario wird als zeitdiskretes dynamisches System modelliert. Die Aufgabe des Verteidigers formalisieren die Forscher als teilweise beobachtbaren Markov-Entscheidungsprozess (POMDP). Dieses Modell bildet sowohl die Handlungsmöglichkeiten des Angreifers als auch die des Verteidigers ab und erlaubt es, eine im mathematischen Sinn optimale Verteidigungsstrategie für den untersuchten Anwendungsfall zu definieren.

Da eine direkte Berechnung dieser optimalen Strategie aufgrund der Größe des Zustands- und Glaubensraums rechnerisch nicht praktikabel ist, entwickelten die Forscher zwei alternative Lernverfahren auf Basis von Proximal Policy Optimization (PPO), einem etablierten Reinforcement-Learning-Algorithmus:

• k-Obs-PPO vereinfacht die Struktur der Eingabedaten für die Verteidigerstrategie, um die Berechnung handhabbar zu machen.
• BF-PPO setzt zusätzlich einen Partikelfilter ein, der den wahrscheinlichen Systemzustand fortlaufend aus den Beobachtungen schätzt.

Beide Verfahren sind lernbasiert und benötigen keine von Experten vorab festgelegten Regeln, um wirksame Strategien zu entwickeln.

Ergebnisse der Auswertung

Die auf dem Simulator trainierten Verteidigungsstrategien wurden anschließend im Emulationssystem gegen verschiedene Angriffstypen nach dem MITRE-Framework getestet. Beide Lernmethoden lieferten dabei wirksame Verteidigungsstrategien für das untersuchte Szenario. Das Training selbst nahm auf einem Simulator rund eine Stunde in Anspruch, gemessen auf einem Apple-M3-Pro-Prozessor.

Besonders die Methode BF-PPO erzielte bei drei unterschiedlichen Angriffsarten eine Leistung, die nahe an der eines Vergleichsmodells lag, das von vollständiger Systembeobachtung ausgeht – also von einer Idealbedingung, die in der Praxis normalerweise nicht gegeben ist.

Einschränkungen der Studie

Die Autoren benennen mehrere Grenzen ihrer Arbeit. Das Modell geht vereinfachend davon aus, dass Angriffs- und Verteidigungsaktionen zu diskreten Zeitpunkten gleichzeitig stattfinden und unmittelbar wirken. In der Realität laufen solche Vorgänge dagegen asynchron, in kontinuierlicher Zeit, mit unterschiedlicher Dauer und zeitlicher Verzögerung ab. Eine feinere Abbildung dieser Dynamik wäre zwar möglich, würde jedoch den Rechenaufwand beim Training der Strategien deutlich erhöhen. Das Gleiche gilt für eine feinere Modellierung des Zustandsraums.

Zudem beziehen sich das entwickelte POMDP-Modell und die Lösungsverfahren bislang ausschließlich auf den untersuchten Anwendungsfall, die konkrete Systemkonfiguration und die getesteten Angriffsarten. Eine Übertragbarkeit auf andere Szenarien oder Konfigurationen wurde in dieser Arbeit nicht untersucht. Ebenfalls unberücksichtigt bleibt bislang die sogenannte Betriebssicherheit, die eine Verteidigungsstrategie in der Praxis zusätzlich einschränken würde.

Ausblick

Für kommende Arbeiten ist eine Zusammenarbeit mit einem Industriepartner geplant. Modell und Lösungsverfahren sollen dabei an einem realen industriellen OT-Testbed für einen ähnlichen Anwendungsfall der Reaktion auf Eindringversuche erprobt werden. Diese Evaluation soll es ermöglichen, den entwickelten Ansatz zur Modellierung und Berechnung von Verteidigungsstrategien in einer weiteren, realistischen Umgebung zu untersuchen und dabei zusätzliche Sicherheitsanforderungen einzubeziehen.