Bundesheer Bundesheer Hoheitszeichen

Bundesheer auf Twitter

Assessment - einmal anders!

Anwendung von Evaluierungsmethoden bei militärischen Großübungen

Ob eine groß angelegte Übung ein Erfolg wird oder sich letztlich als Flop herausstellt, wird heute kaum noch dem Zufall überlassen. Die Übung "CHALLENGE 2002" der Theresianischen Militärakademie ist ein Beispiel dafür, wie durch die laufende Evaluierung aller Tätigkeiten und Ereignisse die Übung selbst beeinflusst werden kann und welche Lehren daraus für die Zukunft gezogen werden können.

Im Rahmen der Fachhochschulausbildung an der Theresianischen Militärakademie wird alljährlich eine Gefechtsübung durchgeführt; dabei haben die Militärakademiker und die eingesetzten Kadersoldaten die Möglichkeit, unter einsatzähnlichen Bedingungen in den unterschiedlichsten Funktionen ihr Wissen anzuwenden.

Die Grundidee der Gefechtsübung "CHALLENGE 2002" in der Südoststeiermark sowie am Truppenübungsplatz Seetaler Alpe war der Einsatz einer Task Force (TF) in einer Peace Support Mission. In der ersten Phase wurden die Übungsteilnehmer - und hier besonders die Angehörigen der TF "Ma­ria Theresia" (Akademikerbataillon) - in einem "Pre-Mission Training" auf die Besonderheiten eines internationalen Einsatzes vorbereitet, um in der zweiten Phase das Erlernte zu vertiefen und in einem Einsatz zur Trennung von Streitparteien umzusetzen.

Mit einer neutralen Assessmentzelle wurde ein Organisationselement installiert, das die Durchführung und Nachbereitung der Gefechtsübung beurteilte und aufbereitete.

Generell wird ein Assessment von Organisationen - auch zivilen - genutzt, um Entscheidungsgrundlagen für verschiedenste Anwendungen zu erhalten. Dieser Ansatz gewährleistet einerseits verwertbare Ergebnisse in inhaltlicher, methodischer und organisatorischer Hinsicht und andererseits, dass Bewährtes beibehalten wird und Lücken geschlossen werden.

Ausgehend von dieser Aufgabenstel­lung wurden hiezu im Fachbereich "Führung" des Institutes 1 der There­sianischen Militärakademie erste Überlegungen angestellt: Die Zielgruppenanalyse umfasste erstmals alle Übungsteilnehmer, vom Rekruten bis zum Kampf­­grup­pen­kom­man­danten, ließ aber jederzeit die Auswertung bestimmter Subgruppen zu. Weiters wurde vorab festgehalten, dass verwertbare Aussagen nur durch einen Methodenmix erstellt werden können. Dies bedeutete zum einen die Anwendung qualitativer Methoden, um schmale, aber in die Tiefe reichende Ergebnisse zu erhalten und zum anderen quantitativer Methoden, um aus einer großen Datenmenge kausale Rückschlüsse ziehen zu können.

Als zweckmäßigste Erhebungsin­stru­mente wurden daher strukturierte Fragebögen, teilstrukturierte Beobachtungsberichte, teilstrukturierte Befragungsbögen und Interviewleitfäden sowie Re­flexionstagebücher entworfen, um die gewünschten Daten und daraus abgeleitete Rückmeldungen zu Verbesserungen in inhaltlicher, methodischer und organisatorischer Hinsicht zu erhalten.

Eine weitere wichtige Vorgabe war, dass die Ergebnisse nicht nur als Mittel der Übungsnachbereitung (zukünftige Übungsgrundlagen, Forschungsberichte, Lehrbehelfe) dienen sollten, sondern bereits während der Übung als Steu­erungsinstrument zur Verfügung zu stehen hatten. Bei der Analyse des Unter­suchungsfeldes wurde das Schwergewicht auf die Bestimmung der Füh­rungs­fähigkeit gelegt, weil diese ein wesentliches Element der Ausbildung jedes militärischen Vorgesetzten/Kommandanten darstellt und unter den einsatzähnlichen Bedingungen einer Übung in besonderem Maße gefordert wird.

Aus allen diesen Überlegungen ergab sich daher, dass die Zielgruppen zur Beobachtung und Beurteilung der Füh­rungsfähigkeit das Kaderpersonal und die Mi­li­tär­akademiker der TherMilAk sein mussten. Die einzelnen Kategorien, die diese Führungsfähigkeit definierten, wurden aus dem militärischen Fachwissen, der Methodik und der sozialen Kompetenz bestimmt und um die allgemeine Kategorie "Übungsorganisation" ergänzt.

Die Vorbereitung

Im Rahmen der Vorbereitung war es von eminenter Bedeutung, bei den Betroffenen die Akzeptanz des Assessments herzustellen. Es war daher in der Einweisungsphase primär die Absicht, die Sinnhaftigkeit und den Wert des Assess­ments zu erklären. Dabei wurde ganz besonders auf den positiven Aspekt des "Förderns" und nicht auf das negativ behaftete "Bewerten" hingewiesen. Nur wenn die Betroffenen die Sinnhaftigkeit der Ergebnisse für die Weiterentwicklung der eigenen Person, der Einheit oder des Verbandes erkannt haben, war die notwendige Unterstützung und damit die Qualität der Rückmeldungen sichergestellt.

In der praktischen Umsetzung und zeitlichen Staffelung führte dies schließlich zum in der Abbildung 1 dargestellten Modell.

Mit dieser Struktur konnte sichergestellt werden, dass durch den Schieds­richterdienst und die mobilen Assess­mentteams täglich Informationen und Daten vorlagen, die für die Planung und Steuerung der nächsten 24 Stunden erforderlich waren. Darüber hinaus konnte am Ende der Übung mit Hilfe der Fragebögen die notwendige Anzahl an quantitativen Daten gewonnen werden, um repräsentative Aussagen zu treffen.

Die Ausgabe von so genannten Re­flexionstagebüchern an die Subziel­gruppe der Militärakademiker des 3. Jahrganges diente dazu, ihnen einen Erinnerungsleitfaden anzubieten, der es erlaubt, in das Rückmeldegespräch ihre eigene Sicht und ihre Erkenntnisse einzubringen.

Assessment hat nur dann einen Sinn, wenn allen Beteiligten die Möglichkeit gegeben wird, ihre Bewertungen und Einschätzungen abzugeben.

Die Organisation während der Übung

Die Assessmentzelle war direkt der Übungsleitung unterstellt. Damit war der schnelle Zugriff des Übungsleiters auf die Kapazitäten der Assess­ment­zelle gewährleistet, und im Gegenzug wurden für die Assessmentteams die entsprechenden Informationen aus Sicht der Übungsleitung zugänglich.

Als besonders effektiv hat sich die Einbindung des Leitungs- und Schieds­rich­terdienstes und deren Einsatz in einer Doppelfunktion erwiesen. Zum einen erfüllten sie die klassischen Aufgaben eines Leitungs- und Schiedsrichterdienstes, und zum anderen oblag ihnen die Feststellung und Meldung inhaltlicher Ergebnisse an die Übungsleitung und die Assess­ment­zelle zur Übungssteuerung und Nachbereitung (siehe Abbildung 2).

Die Assessmentzelle strukturierte sich bei "CHALLENGE 2002"in zwei Assessmentteams, bestehend aus je­weils zwei Offizieren, mit der Aufgabe, die Beschaffung der entsprechenden Daten zu planen sowie bei der Auswertung und Interpretation der Daten mitzuwirken. Die Dokumentation wurde von einem eigenen Team wahrgenommen, das aus Offizieren und Unteroffizieren bestand (siehe Abbildung 3). Um Zeit zu sparen, wurden die gewonnenen Daten über Laptops und Inter­net­an­schluss nur wenige Minuten nach der Erfassung in die Dateien der Dokumentation "gemailt" und waren somit bei der Rückkehr der Teams bereits in den entsprechenden Formaten abrufbar.

Die wesentliche Voraussetzung für die Recherchen vor Ort war die Ausstattung mit Kraftfahrzeugen (mit Kraftfahrern!) und Funkgeräten, so dass bereits während der Fahrten von den Assessmentteams Vor- bzw. Nachbereitungstätigkeiten durchgeführt werden konnten. Dadurch wurde Zeit gespart und die frischen Eindrücke in Daten umgesetzt.

Steuerungselement und Ent­scheidungshilfe während der Übung

Im Rahmen der ersten Phase der Übung wurde schwergewichtsmäßig das Pre-Mission Training der TF "Maria The­resia" untersucht. Dieses Training hatte zum Ziel, einzelne Spezifika für einen internationalen Einsatz im Stationsbetrieb auszubilden und für die darauf folgende Übungswoche vorzubereiten. Zu durchlaufende Stationen waren z. B. "Checkpoint", "Patrolling", "Voice Procedure" usw. Um nun festzustellen, inwieweit die vermittelten Inhalte bei den entsprechenden Funktionsträgern angenommen und vor allem aufgenommen wurden, konzentrierte sich die erste Untersuchung auf die Zielgruppe "Gruppenkommandanten". Mit Schwergewicht wurde der Aspekt des erhaltenen Wissens der einzelnen Inhalte untersucht.

Diesem Zweck diente ein Fragebogen, der alle Ausbildungsinhalte abdeckte und die subjektive Einschätzung des erhaltenen Wissens der Befragten wiedergeben sollte. Die Grafik (Abbildung 4) zeigt die Anzahl der Befragungen und die Einschätzung der Befragten darüber, welche Inhalte in ausreichendem Maß vermittelt wurden und ob sie sich nun in dieser Thematik sicher genug fühlten, um sie in der Folgewoche situationsbezogen anwenden zu können.

Die Auswertung der Fragebögen ergab hiermit, dass die Ausbildungsabschnitte "temporärer Checkpoint", "Crowd and Riot Control" (CRC) sowie das Durchsuchen von Gebäuden nochmals auszubilden waren, um das Wissen zu vertiefen. Diese Erkenntnis eröffnete den Kommandanten eine Möglichkeit, in der Übungssteuerung unmittelbar auf festgestellte Lücken zu reagieren. Für die Übungsnachbereitung war die Schlussfolgerung aus dieser Auswertung, dass bei einer zukünftigen Übung mit gleichen Inhalten diesen drei Ausbildungsinhalten mehr Zeit eingeräumt werden muss.

In einer weiteren Untersuchung wurde festgestellt, inwieweit die Rekruten über das zu erreichende Ziel in der Stationsausbildung informiert und eingewiesen wurden. Nach dem Zufallsprinzip sind drei Kompanien ausgewählt und analysiert worden.

Diese Grafik (Abbildung 5) verdeutlicht, dass bei der Y-Kompanie eine zusätzliche Einweisung der Rekruten über den Sinn und Zweck der Ausbildung und die daraus resultierenden Ziele sinnvoll erscheint und unbedingt noch­mals durchzuführen wäre.

Alle Ergebnisse wurden den jeweils verantwortlichen Kommandanten übergeben und die Inhalte zusätzlich interpretiert. Die Verantwortlichen hatten nun die Möglichkeit, daraus Maßnahmen abzuleiten und diese umzusetzen oder an bereits gefassten Entschlüssen und Maßnahmen festzuhalten, weil sie damit vielleicht ein anderes Ziel verfolgten.

Im Rahmen der Evaluation der "Füh­rungsfähigkeit der Kommandanten", die vorgestaffelt als der zentrale Unter­su­chungsgegenstand definiert wurde, war auch die Methodik als eigene Beur­tei­lungskategorie festgelegt. Exemplarisch wurde dazu folgende Frage gestellt: "Inwieweit wurde die Möglichkeit gegeben, Ausbildungsinhalte zu wiederholen, wenn diese aus Sicht der Auszubildenden unklar blieben?" Da­bei wurden wieder nach dem Zufallsprinzip einzelne Einheiten ausgewählt, die in Summe eine repräsentative Aussage zuließen.

Auch diese Ergebnisse wurden den Ausbildungsverantwortlichen im Detail übermittelt. Sie boten diesen damit die Möglichkeiten, bei der Planung der weiteren Ausbildungs- und Vorhabensabschnitte methodische Änderungen herbeizuführen.

Zusätzlich zu diesen Untersuchungen wurde durch die Assessmentzelle versucht, führungstechnische und taktische Abläufe zu analysieren und das Ergebnis den Verantwortlichen zur Verfügung zu stellen. Um dieses Vorhaben umzusetzen, mussten diese Führungsmaß­nahmen messbar gemacht werden. Eine der dazu angewandten Methoden war die Untersuchung und Auswertung von Führungsmaßnahmen, die über Funkverbindungen gesetzt worden waren. Dazu wurden zwei Fahrzeuge mit entsprechender Funkausrüstung sowie Laptops mit Internetanschluss in die Nähe der Gefechtshandlungen beordert. Neben der lückenlosen Erfassung des Funkverkehrs wurde damit auch gewährleistet, dass die erhaltenen Daten sofort über das Internet an das Auswertungs- und Doku­mentationselement der Assessmentzelle gesendet und die Ergebnisse bereits nach wenigen Stunden präsentiert werden konnten (Schematische Funkskizze siehe Abbildung 6).

Im Verlauf der Übung wurde ein Ver­zö­gerungsgefecht über einen Zeitraum von 2 Stunden und 40 Minuten ausgewertet, in dem eine mechanisierte Ba­tail­lonskampfgruppe gegen Teile eines verstärkten Jägerbataillons vorging.

Ein Bereich, der dabei beobachtet wurde, war das Verhältnis der aktiven Führungsmaßnahmen (Handlungen, die vom Empfänger eines Befehls oder einer Lageeinspielung gesetzt werden mussten) zwischen dem Bataillon (die angreifende Bataillonskampfgruppe) einerseits und den unterstellten Kampfelementen andererseits.

Die Verteilung und das daraus resultierende Verhältnis von etwa 4:6 zu Gunsten der unterstellten Teile scheint auf den ersten Blick wenig aussagekräftig zu sein und nur eine bereits vorab getätigte Annahme zu bestätigen. Zusätzlichen Informationsinhalt bietet die detaillierte Aufschlüsselung in der Grafik (Abbildung 7) dahingehend, welche Personen bzw. OrgElemente an diesen Führungsprozessen beteiligt waren. Hiebei wurde nach aktiven bzw. passiven Führungsmaßnahmen (z. B. Be­fehls­gebung bzw. Empfang einer Lageinformation) unterschieden.

Aus dieser Grafik ist auch die Einbindung respektive die Belastung der einzelnen Kommandanten bzw. Stabsmitglieder während des erfassten Gefechtes erkennbar.

Die in der Grafik (Abbildung 8 rechts unten) dargestellte Auswertung ist nur als exemplarisch für eine Vielzahl von Analysen zu betrachten. Unter anderem wurde ebenso versucht, taktisch verwertbare Erkenntnisse zu ermitteln. Die folgende Grafik zeigt das vorhin bereits erwähnte Ver­zö­gerungsgefecht unter dem Aspekt der Methode der Auswertung des Funkverkehrs.

Deutlich erkennbar ist daraus, zu welchem Zeitpunkt und in welcher Intensität die einzelnen Kampf- und Kampf­unterstützungselemente der angreifenden Bataillonskampfgruppe in das Gefecht eingetreten sind.

Aus dem Diagramm ist sehr genau erkennbar, ab welchem Zeitpunkt der Kampfgruppenkommandant das Steilfeuer mit der Luftunterstützung kombiniert hatte, um damit eine Entscheidung herbeizuführen. Ebenso lassen sich die Intensität des Gefechtes und die Einbindung der einzelnen Kampfelemente ablesen.

Zusätzlich zu diesen inhaltlichen Aufbereitungen und Informationen wur­­den die Erkenntnisse des Schiedsrichterdiens­tes jeweils im 24-Stunden-Takt eingebracht. Dem Schiedsrichterdienst wurden dabei jeweils präzise Vorgaben auferlegt, auf welche inhaltlichen Schlüsselele­mente bei diesem oder jenem Übungsvorhaben zu achten sei. Als Hilfsmittel dafür wurden so genannte formalisierte Schieds­­richter­berichte ausgegeben.

Nach der Auswertung der Inhalte wurden diese jeden Abend im Rahmen der Übungsleitungsbesprechung dem Übungs­­­leiter vorgetragen bzw. den entsprechenden Kommandanten mitgeteilt. Daraus wurden Erkenntnisse über Stärken und Schwächen in taktischer Hinsicht abgeleitet und Folgerungen für zukünftige Ausbildungsschwer­ge­wich­te gezogen.

Im Laufe des Übungsvorhabens wurde schließlich ein Gesamtfragebogen zur Führungsfähigkeit ausgegeben - an alle Beteiligten, vom Rekruten bis zum Kampfgruppenkommandanten.

Die große Rücklaufrate ermöglichte schließlich die Auswertung von 20 000 Einzelmeldungen. Das Ergebnis wurde dem Akademiekommandanten vorgelegt und danach den einzelnen Bataillons- bzw. Einheitskom­mandanten übermittelt.

Schlussfolgerungen

All diese Maßnahmen wurden mit dem Ziel durchgeführt, sowohl Erkenntnisse für die Übungssteuerung als auch für die qualitative und nachvollziehbare Übungsnachbereitung zu schaf­­fen. Die weitere Absicht war, ein hohes Maß an Qualitätssicherung einzubringen und einen Beitrag zur Forschung und Entwicklung an der The­resianischen Militärakademie/Fachhochschul-Studiengang im Speziellen und für das Bundesheer im Allgemeinen zu leisten.

Ähnliche Ansätze werden selbstverständlich auch in anderen Streitkräften und bei anderen Übungsvorhaben angewendet. Die dort angewendeten Verfahren bzw. Organisationselemente werden z. B. als "Lessons Learned and Analysis", "Monitoring Teams" und ähnliches mehr bezeichnet.

Die Bereiche, die es wert sind, untersucht und ausgewertet zu werden, sind vielfältig und reichen von der Übungsvorbereitung über logistische und stabsdienstliche Aspekte bis hin zur Ermittlung und Dokumentation der anfallenden Kosten einer Übung.

Der Versuch, mittels einer Assess­mentzelle eine weitere Effektivitätssteigerung von Übungen durchzuführen, kann als gelungen betrachtet werden, und die überwiegend positiven Rückmeldungen lassen eine Fortsetzung sinnvoll erscheinen. Dieser Bereich der Evaluation von Übungen beinhaltet ein noch weit größeres Potenzial, ist in vielen Richtungen weiter ausbaufähig und bietet den entscheidenden Vorteil, dass eine Vielzahl von Ideen integrierbar ist.


Autor: Major dG Ing. Mag. Dr. Peter Vorhofer, Jahrgang 1967. 1982 bis 1987 HTLInnsbruck, Abt. Maschinenbau; 1988 bis 1991 Offiziersausbildung an der Theresianischen Militärakademie; 1991 bis 1997 Technischer Offizier beim Kommando Luftraumüberwachung; 1991 bis 1996 Studium der Politikwissenschaft, Publizistik und Kommunikationswissenschaft an der Universität Salzburg, 1997 bis 2000 Hörer am 15. Generalstabslehrgang; 1999 bis 2001 Doktoratsstudium für Politikwissenschaft an der Universität Wien; 2000 bis 2001 HLO Taktik an der TherMilAk, derzeit Leiter des Fachbereiches "Führung" am Fachhochschul-Studiengang "Militärische Führung" an der TherMilAk.

Eigentümer und Herausgeber: Bundesministerium für Landesverteidigung | Roßauer Lände 1, 1090 Wien
Impressum | Kontakt | Datenschutz | Barrierefreiheit

Hinweisgeberstelle