Abstracts 2014
Paper
Peer Review in QIBB – Evaluation zur Wirksamkeit eines externen Evaluationsverfahrens
Von:Buichl, Melanie; Friedrich-Alexander Universität Erlangen-Nürnberg
Hartl, Sigrid; ARQA-VET, Österreich
Jonach, Michaela; ARQA-VET, Österreich
Wilbers, Karl; Friedrich-Alexander Universität Erlangen-Nürnberg
Paper Session: 3
Zeit: Freitag, 04.07.2014, 10:45 - 12:45
Ort: MAW Mittlerer Saal
Typ: Paper
Downloads:Präsentation als PDF
Im Gegensatz zu anderen europäischen Ländern - insbesondere zu Deutschland - spielt systematische externe Evaluation im schulischen Bereich in Österreich eine nach wie vor untergeordnete Rolle. Mit Peer Review in QIBB gibt es seit 2008 einen ersten Ansatz zur externen Evaluation im Bereich der berufsbildenden Schulen. Peer Review in QIBB ist ein freiwilliges externes Evaluationsverfahren im Rahmen des Qualitätsmanagementsystems QIBB (QualitätsInitiative BerufsBildung). Die Schulen verfassen zunächst einen Selbstbericht, auf Basis dessen ein aus vier Personen bestehendes Peer Team eine zweitägige externe Evaluation an der Schule durchführt. Die externe Evaluation erfolgt durch Peers, d. h. durch Personen die von ihrer beruflichen Herkunft, Ausbildung und Expertise als „gleichgestellt“ jenen Akteuren und Organisationen gegenüber bezeichnet werden können, die sie evaluieren. Damit unterscheidet sich Peer Review von Schulinspektionsmodellen, wie sie derzeit in zahlreichen europäischen Ländern umgesetzt werden.
Im Vergleich zu anderen Evaluationsmodellen beziehen sich die zentralen Vorteile des Peer Reviews auf die entwicklungsorientierte Ausrichtung des Verfahrens, da übergeordnete Einrichtungen keine Einsicht in den Evaluationsbericht haben und die Ergebnisse keine Basis für Zielvereinbarungen darstellen. Weitere Entscheidungsbereiche der Schule liegen in der Auswahl der Peers aus einem Pool an EvaluatorInnen und der Festsetzung eigener Evaluationsschwerpunkte. Die Basis der Wirksamkeit einer Evaluation liegt in der Initiierung von Maßnahmen, die in der vierten und letzten Phase des Peer Reviews erfolgen. In diesem wichtigen Prozessschritt wird eine umfassende Unterstützung des Feedbackprozesses durch einen Follow-up Workshop und einem Feedback-Tool gewährleistet.
Die Schulentwicklungstheorie, die Theorie der Evaluationsforschung sowie die Forschungserkenntnisse zum Qualitätsmanagement bieten bislang nur wenig Erkenntnisse, wie Peer Reviews so gestaltet werden können, dass sie wirksam sind, d. h.im weitesten Sinne zu Veränderungen in Schulen führen.
Um eine evidenzbasierte und systematische Qualitätssicherung und Weiterentwicklung des Peer Review in QIBB Verfahrens sicherzustellen, wird eine umfassende Metaevaluation durchgeführt. Diese laufend durchgeführte Evaluation umfasst die Befragung aller zentralen, am Verfahren beteiligten Gruppen (Schulleiter/innen, Peers, Peer Review Organisatoren/innen an den Schulen, Berater/innen etc.). Dabei kommen quantitative und qualitative Methoden zum Einsatz. Auf Basis dieser Metaevaluationsergebnisse werden konkrete Verbesserungsmaßnahmen abgeleitet und umgesetzt.
Zusätzlich wurde eine Wirksamkeitsanalyse für Peer Review in QIBB durchgeführt (vgl. Buichl/Wilbers 2011). Im Zentrum der Wirksamkeitsanalyse stand die Frage, ob das Verfahren seinen eigentlichen Zweck, nämlich den Anstoß von Schulentwicklung auf Basis der Ergebnisse aus der externen Evaluation, tatsächlich erfüllt. Auf der Basis des Wirksamkeitsmodells wurden zunächst in allen Schulen zwei quantitative Datenerhebungen durchgeführt, um anhand deren Ergebnisse einen Ausschnitt der beteiligten Bildungseinrichtungen im qualitativen Prozess näher zu untersuchen. Auf dieser Grundlage erfolgte eine Bewertung auf der Basis des Wirksamkeitsmodells.
Es liegen bis dato 52 Fälle (Schulen, die ein Peer Review durchgeführt haben) von 2008 bis inklusive 2013 vor. Die Ergebnisse wurden im Rahmen von Durchführungsberichten sowie als Studie zur Wirksamkeit des Verfahrens verarbeitet. Die Einreichenden möchten mit diesem Beitrag das Metaevaluationsverfahren für Peer Review in QIBB vorstellen, Ergebnisse aus der Wirksamkeitsanalyse vorstellen, das Verfahren und die Ergebnisse zur Diskussion stellen sowie Feedback dazu einholen. Überlegungen zur Weiterentwicklung bzw. Veränderung der Metaevaluation werden daran anschließen.
Literatur:
Buichl, M. (2012): Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluation. Aachen. Online: http://opus4.kobv.de/opus4-fau/frontdoor/index/index/docId/2209 (10-01-2014).
Buichl, M./ Wilbers, K. (2011): Wirksamkeit externer Evaluation – eine Analyse der Wirksamkeit des European Peer Review im Rahmen der österreichischen Qualitätsinitiative Berufsbildung. In: bwp@, Ausgabe 21, 1-17. Online: http://www.bwpat.de/ausgabe21/buichlwilbersbwpat21.pdf (10-01-2014).
Wulz, G./ Jonach, M./ Gramlinger, F. (2012): Peer Review in QIBB – Erste Ergebnisse zur Umsetzung von externer Evaluation in österreichischen berufsbildenden Schulen. In: bwp@, Ausgabe 21, 1-13. Online: http://www.bwpat.de/ausgabe21/wulzetalbwpat21.pdf (20-12-2013).
Weitere Abstracts