Besuch bei den IT-Bewachern

Es ist ruhig, das Licht gedämpft. Zwei grosse Glaskuben erstrecken sich über zwei Stockwerke und signalisieren, auf Sockeln platziert, die zentrale Rolle für das Unternehmen. Bei den anwesenden Mitarbeitern herrscht volle Konzentration. Zwei aus vielen Bildschirmen zusammengesetzte Displays zeigen Eckdaten der zu beobachtenden IT-Umgebung samt Netzwerk an. Plötzlich leuchtet rot die Meldung eines Vorfalls auf, das Ereignis wird auf der riesigen Weltkarte grafisch hervorgehoben. Doch die vier Ingenieurinnen und Ingenieure im ersten Glaskubus scheint das nicht aus der Ruhe zu bringen. Sie analysieren die Vorkommnisse auf ihren eigenen Bildschirmen, bearbeiten und lösen sie oder geben sie an die vier Kolleginnen und Kollegen im zweiten Raum weiter, falls weitere Analysen notwendig sind. Willkommen im Security Operations Center (SOC) von Open Systems, das die Zürcher Firma von der NASA inspiriert «Mission Control Center» nennt. Von hier aus werden über 4500 Security-Plattformen von Kunden in über 180 Ländern überwacht und betreut. Das typische «War Room»-Gefühl, das an Untergrund und Hackertätigkeit erinnert, wird geflissentlich vermieden. Vielmehr sorgt viel Glas, auch bei den Büros der weiteren Mitarbeiter, die gerade nicht im SOC Dienst haben, für Transparenz und Übersichtlichkeit. Nächste Seite: Komplett standardisiert

Die 1990 gegründete Open Systems bietet zwar bereits seit Ende der 90er-Jahre sogenannte Managed Security Services an, aber nicht nur. «Wir sind kein klassisches SOC», erklärt Moritz Mann, der als Executive Vice President für die «Mission Control» von Open Systems zuständig ist. Mithilfe einer selbst entwickelten Plattform wird einerseits der IT- und Netzwerkbetrieb eines Kundenunternehmens sichergestellt, andererseits die Sicherheit gewährleistet. «Wir betreiben auch die kritischen Infrastrukturen für unsere Kunden. Somit ist die Verfügbarkeit genauso wichtig wie die Sicherheit», erklärt er. Auf der Plattform – einem Einschub für das Serverrack, der beim Kunden installiert ist – sind Security-Produkte von Drittanbietern wie Firewall, Intrusion Detection System (IDS) und Webapplikationsschutz untergebracht. Die Ins­tallation ist in hohem Mass standardisiert: Jeder Kunde, egal wie gross und aus welcher Region, verfügt über dasselbe System mit der gleichen Version. Dies führt laut Mann zu einer starken Reduktion der Komplexität. «Die meisten Kunden haben, bevor sie unsere Dienstleistungen beziehen, über 30 Security-Produkte bei sich im Einsatz, Grossunternehmen manchmal über 90», sagt er. Es sei schwierig, diese Security-Flotte zu verwalten, sagt Mann: «Die Log-Files sind alles andere als normiert und können kaum miteinander in Zusammenhang gebracht werden.» Das ist bei Open Systems anders: «Das Schöne an unserem Setup ist, dass wir von einer homogenen Log-Landschaft ausgehen können, wodurch die Korrelation der Informationen effizienter wird.» Beziehen die Kunden einmal die Security-Dienstleistungen von Open Systems, besitzen sie keine eigenen IT-Sicherheits-Produkte mehr. Damit unterscheidet sich das Unternehmen von anderen SOC-Betreibern, die teilweise die Infrastruktur des Kunden übernehmen. Durch die Standardisierung der Plattform konnte man den Betrieb des Mission Control Centers weitgehend automatisieren. «92 Prozent der Incident-Tickets werden von Maschinen eröffnet, und 79 Prozent werden auch maschinell gelöst. Hierzu gehören nicht nur reine Security Events, sondern auch Betriebsfunktionen», berichtet Mann. Auf den Security-Bereich beschränkt, verarbeitet das Center mehrere Gigabit an scanwürdigem Verkehr pro Tag. Daraus werden täglich gut 30 sicherheitsrelevante Alerts ausgeschieden, die eine genauere Analyse erfordern. Dank dieses Automationsgrads könne man mit 19 Vollzeitstellen den 24-Stunden-Betrieb an sieben Tagen der Woche aufrechterhalten. Nächste Seite: Rund um die Uhr und den Globus

Wie der Arbeitsalltag im Mission Control Center von Open Systems aussieht, weiss Lynn Suter zu berichten, die als Operations Engineer für das Tagesgeschäft zuständig ist. Um rund um die Uhr verfügbar zu sein, unterhält Open Systems zwei SOC, eines im Zürcher Binz-Quartier und ein zweites im australischen Sydney. Während Zürich von 8 bis 23 Uhr besetzt ist, kommt in der Nacht der Standort in Australien zum Zug. Die Teamgrösse hängt vom erwarteten Aufkommen ab. Im Normalfall sind neun Ingenieurinnen und Ingenieure anwesend, unterteilt in zwei Gruppen, sowie ein Lead Engineer, der das Team leitet. Die «Primary Engineers» nehmen die eingehenden Anrufe entgegen und erledigen einfachere Vorfälle. «Weil hier immer wieder Anrufe kommen, kann sich die erste Gruppe nicht um langwierige und komplexere Probleme kümmern», erklärt Suter. Hierfür seien die «Secondary Engineers» zuständig, die bewusst keine Anrufe entgegennehmen. Der Lead Engineer wiederum überwacht den Betrieb und verteilt die anfallenden Tickets nach Aufwand an die SOC-Mitarbeiter. «Der Lead Engineer ist daher immer die Person mit der grössten Erfahrung.»

Operations Engineer Lynn Suter öffnet an ihrem Arbeitsplatz das von Open Systems selbst entwickelte Managementportal: Eine einheitliche Oberfläche, die je nach Service, beispielsweise IDS oder Firewall, andere Unterpunkte aufweist, ansonsten aber gleich strukturiert ist. Suter zeigt das Portal eines Automobilzulieferers aus Deutschland. Die Übersicht zeigt alle Dienste des Kunden und wie es gerade läuft. Suter erkennt zum Beispiel, dass die ISP-Verbindungen gut ausgelastet sind. «Hier werden wir wohl mehr Bandbreite organisieren müssen», nennt sie die erste Massnahme, die sie dem Kunden später vorschlagen wird. Danach klickt sie auf den IDS-Dienst. Dort sind Tickets eröffnet worden, einige davon rot unterlegt. Suter analysiert die Meldungen. Bei einer stellt sie Malware-Befall fest, muss aber nicht eingreifen, weil die Reaktion schon vom System selbst initiiert wurde – es handelt sich um eine dem System bekannte Schad-Software. Bei einem anderen Ticket ist ihr Einsatz gefordert: Sie muss die technischen Informationen in konkrete An­weisungen an den Kunden «übersetzen». Nächste Seite: Empfehlungen an die Kunden

Beim Kunden selbst werden die Mitarbeiter von Open Systems nicht tätig, vielmehr geben sie Empfehlungen aus, was zu tun ist. Manchmal liefern die Zürcher Mitarbeiter den Firmen sogar in Bereichen wichtige Hinweise, für die sie eigentlich gar nicht zuständig sind. Suter berichtet von einem Vorfall, bei dem man die asiatischen Zweigstelle eines globalen Unternehmens angerufen habe, um sie darauf hinzuweisen, dass im Serverraum die Klimaanlage ausgefallen sein könnte. «Das konnten wir, weil wir auch die Temperatur unserer Geräte ständig überwachen», berichtet Suter und fügt an, dass die Angerufenen ziemlich perplex gewesen seien und zunächst gar nicht richtig verstanden hätten, wer sie da anrief. Obwohl das Mission Control Center das Herzstück von Open Systems ist, verbringen die Engineers nur gut 20 Prozent ihrer Arbeitszeit in der SOC-Zentrale. Hauptsächlich sind sie als Entwickler in den hauseigenen Labs, im Consulting und in den Professional Services tätig. «So haben auch Mitarbeiter im Mission Control Center Dienst, die sonst kaum Kundenkontakt hätten», berichtet Suter. «Sie kommen mit unserer Kundschaft in Verbindung, sehen also direkt die Auswirkungen ihrer Entwicklungen, können diese weiter verbessern und auf deren Bedürfnisse anpassen.»

Wenn ab 23 Uhr das Team im fernen Australien den SOC-Betrieb übernimmt, handelt es sich dabei um Mitarbeiter aus Zürich, die dort jeweils für drei Monate mit ihren Familien leben. «Somit haben wir dort Angestellte mit demselben Hintergrund wie hier in der Schweiz», sagt Mann. Der Auslandseinsatz dient gleichzeitig als Langzeitmotivation. Dieser sei bei den Angestellten sehr beliebt und kommt vor allem auch bei potenziellen neuen Mitarbeitern, etwa ETH-Abgängern, äusserst gut an. Die Ausbildung bei Open Systems beinhaltet eine sechsmonatige interne Schulung mit einem drei­monatigen Aufenthalt in Sydney – sozusagen als «Zückerli». Im Wettbewerb um die besten Talente, aber auch für die Mitarbeiterbindung, sei dies ein Pluspunkt für das Unternehmen, so Mann: «Die entsprechenden Australien-Slots sind schon bis ins Jahr 2019 hinein ausgebucht.» Entstanden ist die Idee aus der Unbeliebtheit der Nachtarbeit in Zürich. Die Unternehmensleitung suchte in der Folge nach einem attraktiven Standort mit genügend Zeitverschiebung. Das Personal bleibt dabei nach Schweizer Arbeitsrecht angestellt. Selbst aus Kundensicht habe die Vorgehensweise von Open Systems Vorteile, ist Mann überzeugt. «Egal, wann der Kunde anruft, er erhält immer denselben Service, da es sich um dasselbe Personal handelt.» Nächste Seite: Die Detektive übernehmen

Wie genau reagiert das SOC-Team nun bei einer grösseren Attacke? Hier gilt es für die Mitarbeiter, schnell zu reagieren und den Angriff zu stoppen. Letzteres soll auch verhindern, dass weitere Systeme befallen werden. Wenn die grösste Gefahr gebannt ist, es sich jedoch um längerfristige Probleme handelt, wird das hauseigene CERT (Computer Emergency Response Team) eingeschaltet. «Wir übernehmen meistens dann, wenn wir merken, dass man das Problem rein technisch nicht lösen kann», erklärt Serge Droz, der das CERT von Open Systems leitet. Nach seinen Angaben verrichtet das Team viel Detektivarbeit. Man versucht herauszufinden, wo der Hacker eingedrungen sein könnte. Gesucht wird nach Indizien, etwa eigenartige Vorkommnisse auf Systemen. Meist macht sich dann das persönliche Netzwerk von Droz bezahlt, das er sich in seinen mittlerweile 12 Jahren IT-Security-Tätigkeit aufgebaut hat. «Ich frage Kollegen in der Schweiz und rund um den Globus, ob sie einem ähnlichen Fall begegnet sind und mehr wissen», berichtet er. Es seien oft diese informellen Kontakte, die zur Lösung beitragen. «Haben wir etwas herausgefunden, überlassen wir dem Kunden, was weiter geschehen soll», so Droz weiter. Er empfehle gegebenenfalls, den betroffenen Server nicht neu aufzusetzen, sondern isoliert – mit für den Angreifer unnützen Daten bestückt – weiterlaufen zu lassen. «So können wir herausfinden, welche Pläne die Angreifer eigentlich haben.» Andererseits wollen die Kunden jeweils so schnell wie möglich wieder operativ sein. Genau das halte sie meist auch davon ab, Strafanzeige zu erstellen. Droz versteht dies zwar, bedauert es aber dennoch: «Wenn nie jemand Strafanzeige erstattet, können die Behörden auch nicht darlegen, dass sie mehr Ressourcen brauchen.» Wie auch immer sich die Zeit nach dem Angriff gestaltet: «Für uns ist der Fall meist dann abgeschlossen, wenn wir sichergehen können, dass die Angreifer nicht mehr im System sind», sagt Droz. Besonders wichtig bei der Analyse der Vorfälle sind die Log-Files der einzelnen Sicherheitssysteme. Sie sollten mindestens zwei Jahre lang aufbewahrt werden. Denn nur mit diesen Informationen haben die IT-Security-Detektive eine Chance herauszufinden, wann der Angriff genau begonnen hat und was wirklich passiert ist. «Man sollte die Aufbewahrung der Log-Files wie eine Versicherung betrachten», findet Lynn Suter. Die Files in der Cloud abzulegen, sei heutzutage sehr günstig geworden. «Was teuer ist, ist das Retrieval der Daten», sagt sie, gibt aber zu bedenken, dass man im Normalfall höchstens ein- oder zweimal pro Jahr auf diese Files zugreifen müsse. Wie bei Backups täten Unternehmen gut daran, hin und wieder zu testen, ob sie die Daten im Notfall auch zurückholen könnten. Nächste Seite: Kleiner Fehler, grosse Auswirkung

Mitte Januar gab es einen solchen Ernstfall: Ein gröberer Fehler im BGP (Border Gateway Protocol) führte dazu, dass weltweit 2 Prozent des Internets ausfielen. Dank ihrer ein­gespielten Automatismen und der vereinheitlichten Security-Plattform konnten die Open-Systems-Mitarbeiter schnell reagieren. In nur 18 Minuten seien die Dienste mithilfe eines Workarounds wieder operationell gewesen, berichtet Suter. Nach 36 Stunden konnte dann die Problemlösung an alle Systeme ausgerollt werden. Doch, was war geschehen? Handelte es sich um einen bösartigen Angriff oder lag nur eine Fehlmanipulation eines Administrators vor, der im BGP einen falschen Routen­eintrag gemacht hatte? Könnte sich der Fehler wiederholen? Diese Fragen klärte schluss­endlich das interne CERT. Es stellte sich tatsächlich heraus, dass ein tschechischer Forscher einen BGP-Eintrag verändert hatte. Weil BGP ein wichtiges Routingprotokoll im Internet ist und vor allem den automatisierten Verkehr regelt, also autonome Systeme miteinander verbindet, hatte das Missgeschick derart schwerwiegende Auswirkungen. Immerhin: Nach gut 48 Stunden konnte der Fall als gelöst ad acta gelegt werden.

Selbst für diverse Katastrophenszenarien sei das Open-Systems-Team gut gerüstet, ver­sichert Suter. «Unser Betrieb ist unabhängig vom Standort des SOC», berichtet sie, denn er werde von verschiedenen Rechenzentren an unterschiedlichen Standorten bereitgestellt. Sollte es also den Standort in Zürich treffen – etwa weil es dort brennt –, schnappen sich die Angestellten einen Notkoffer, in dem sich ein Laptop samt Verbindungs-Hardware fürs Mobilfunknetz befindet, die eine ortsunabhängige Einwahl ins SOC ermöglicht. Auch mobile Satellitenschüsseln stehen bereit, um im Notfall für eine Verbindung zu sorgen. Das funktioniert so gut, dass das Unternehmen zweimal im Jahr einen grösseren Event aus­serhalb von Zürich durchführen kann, an dem alle Mitarbeiter teilnehmen. «Neben den sozialen Aspekten eines solchen Ausflugs ist uns wichtig, dass unsere Kunden nichts davon merken, dass wir nicht an unseren angestammten Plätzen sind, sondern irgendwo in den Bergen», berichtet Tobias Steger, Kommunikationschef von Open Systems. Anfangs sei das noch schwierig gewesen, doch mittlerweile würden die auswärtigen Events reibungslos durchgeführt. Auch mit Pandemien hat man sich schon auseinandergesetzt. «Da wir für viele NGOs arbeiten, haben diese uns diesbezüglich herausgefordert und sensibilisiert», führt Steger aus. Deshalb bringt jeder Security Engineer seinen eigenen Koffer mit Tastatur, Maus und Headset mit – alles Komponenten, über die Krankheiten übertragen werden können. «Unsere Mitarbeiter kommen jeweils morgens an einen leeren Arbeitsplatz, der ge­reinigt worden ist.» Denn: Wer Sicherheit verkauft, muss sich auch selbst schützen.

! KASTEN !