Evaluation

Evaluation oder Evaluierung (aus lateinisch valere „stark, wert sein“) bedeutet sach- und fachgerechte (Untersuchung und) Bewertung.

Überblick

Unter Evaluation wird meist die Bewertung von Projekten, Prozessen und Organisationseinheiten verstanden. Dabei können Kontext, Struktur, Prozess, Aufwand und Ergebnis einbezogen werden. Im Allgemeinen lässt sich als Evaluation auch die grundsätzliche Untersuchung begreifen, ob und inwieweit etwas geeignet erscheint, einen angestrebten Zweck zu erfüllen. Im Sprachgebrauch werden auch Evaluation, Untersuchung und Analyse gleichbedeutend im Sinne einer Bestandsaufnahme ohne besondere Zweckorientierung gebraucht.

Anwendungsbereiche der Evaluation sind etwa Bildung, Soziale Arbeit, Verwaltung, Wirtschaft oder Politikberatung. Für eine Evaluation werden Daten methodisch erhoben und systematisch dokumentiert, um die Untersuchung, das Vorgehen und die Ergebnisse nachvollziehbar und überprüfbar zu machen. Standardverfahren zur internen und externen Datenerfassung sind Befragung, Beobachtung, Test, Fragebogen, und Materialanalyse. Die Bewertung erfolgt durch den Vergleich der ermittelten Ist-Werte mit vorher explizit festgelegten, operationalisierten und begründeten Soll-Werten anhand festgelegter Indikatoren. Evaluation muss bestimmte Gütekriterien erfüllen: neben den Grundvoraussetzungen Nützlichkeit und Objektivität sind dies Reliabilität, Validität, Ökonomie und Normierung.

Evaluation dient der rückblickenden Wirkungskontrolle, der vorausschauenden Steuerung und dem Verständnis von Situationen und Prozessen. Anhand der Evaluationsdaten können untersuchte Prozesse angepasst und optimiert werden. Man unterscheidet abhängig vom Einsatzzeitpunkt antizipatorische oder prospektive Evaluation (vor), prozessbegleitende formative Evaluation (während) und ergebnisbewertende summative Evaluation (nach). Mit der Forschung verbindet Evaluation das Bemühen um empirische Überprüfbarkeit, allerdings untersucht sie konkrete Einzelfälle und ist praxisorientiert.

Wortherkunft

Das Wort Evaluation (Bewertung, Auswertung) wurde zuerst im 19. Jahrhundert im Französischen verwendet, mit Beginn des 20. Jahrhunderts auch im Englischen. In den USA ist es im modernen Verständnis seit den 1930er Jahren gebräuchlich (seit der Eight-Years-Study 1933–1941 von Ralph W. Tyler u. a.). Tylers verhaltensorientiertes Konzept wurde nach dem Sputnikschock 1957 in der danach einsetzenden Bildungsreform kritisiert und verändert. In Deutschland wurde das englische Wort Evaluation Ende der 1960er Jahre aus dieser amerikanischen Tradition übernommen; wichtig dafür wurde eine von Christoph Wulf herausgegebene Sammlung von Übersetzungen englischsprachiger Publikationen v. a. im Kontext der Curriculumsforschung. Die Wortbedeutung „Bewertung“ wurde dabei zunächst verengt auf die Bewertung insbesondere der Arbeit von Bildungsinstitutionen (die Curriculum-Entwicklung seit den 30er-Jahren). Inzwischen wird, wie in den USA seit langer Zeit, auch in anderen sozialen Handlungsbereichen in Deutschland „evaluiert“.

Abgrenzung

Professionell durchgeführte Evaluationen unterscheiden sich nach Balzer durch folgende Kriterien von alltäglicher Bewertung:

• Auf klar definierten Gegenstand bezogen
• Von Experten durchgeführt
• Bewertung anhand präzise festgelegter und offengelegter Kriterien (Evaluations‐/Bewertungskriterien)
• Informationsgewinnung durch empirische Datenerhebung
• Systematische Informationsbewertung anhand bestimmter Regeln

Balzer unterscheidet: "Evaluation ist ein Prozess, „… bei dem nach zuvor festgelegten Zielen und explizit auf den Sachverhalt bezogenen und begründeten Kriterien ein Evaluationsgegenstand bewertet wird. Dies geschieht unter Zuhilfenahme sozialwissenschaftlicher Methoden durch Personen, welche hierfür besonders qualifiziert sind. Das Produkt eines Evaluationsprozesses besteht in der Rückmeldung verwertbarer Ergebnisse in Form von Beschreibungen, begründeten Interpretationen und Empfehlungen an möglichst viele Beteiligte und Betroffene, um den Evaluationsgegenstand zu optimieren und zukünftiges Handeln zu unterstützen."

Die Beurteilung von Personen oder Institutionen, die mit (oftmals negativen) Sanktionen verbunden ist, ist zu unterscheiden von der Beurteilung von Maßnahmen, die auf ihre Wirksamkeit hin untersucht werden und als Evaluation im eigentlichen Sinne bezeichnet werden können. Auf der Basis einer Zielvereinbarung wird eine Ausgangserhebung durchgeführt, es werden daraufhin Maßnahmen geplant, mit denen die Ziele erreicht werden sollen. Dann müssen Messinstrumente / Beurteilungs­kriterien entwickelt werden, mit denen man überprüfen kann, ob die Maßnahmen zum Erfolg geführt haben. Eventuell nach Zwischenerhebungen während der Durchführung wird in einer Schlusserhebung der Erfolg der Maßnahme überprüft, um daraus neue Zielvereinbarungen zu treffen und erneut in den Kreislauf einzutreten. Betroffene sollen zu Beteiligten werden, so dass der Prozess konsensual verläuft und nicht durch fremde Interessen und unklare Kriterien bestimmt wird.

Modelle

Es gibt im Wesentlichen drei verschiedene Richtungen in der Evaluation:

Methodenorientierte Evaluation:

• Objectives-Oriented Evaluation (R. Tyler)
• The methodological View (Donald T. Campbell)
• Evaluative Research (E. A. Suchman)
• Causal Generalization (T. Cook)
• Theory Driven Evaluation (H.-T. Chen)
• Evaluation as Art (L. J. Cronbach)

Nutzenorientierte Evaluation

• CIPP Model (D. L. Stufflebeam)
• Evaluation Research, Political Context & Enlightment (C. H. Weiss)
• Utilization-focused Evaluation (M. Q. Patton)
• The Four Levels (Donald Kirkpatrick)
• Empowerment Evaluation (D. Fettermann)

Bewertungsorientierte Evaluation

• Valuing (M. Scriven)
• Responsive Evaluation (R. E. Stake)
• 4th Generation – Constructivist Evaluation (Guba & Lincoln)
• Adversery Evaluation (Owens & Wolf)
• Connoisseurship Model (E. W. Eisner)

Methoden

Bortz & Döring unterscheiden drei Typen von Methoden:

• Explorative Methoden. Sie „dienen der Erkundung von Interventionsprozessen und deren Wirkungen. Sie zielen auf die Formulierung bzw. Konkretisierung von Wirkhypothesen ab und tragen dazu bei, die relevanten Variablen zu identifizierten und zu operationalisieren.“
• Populationsbeschreibende Methoden. Sie „ermöglichen eine Abschätzung der Verbreitung und der Hintergründe eines Sachverhaltes und erleichtern die Definition der Zielpopulation.“
• Hypothesenprüfende Methoden. Sie „testen den Einfluss der untersuchten Intervention auf sinnvoll operationalisierte Wirkkriterien.“

Andreas Gruschka formuliert 1976 anlässlich eines Kollegstufenversuchs in Nordrhein-Westfalen, was seither in die Handbücher Eingang gefunden hat: „Gütekriterien der Evaluation sind nicht mehr primär Validität, Reliabilität und Objektivität, sondern Kommunikation, Intervention, Transparenz und Relevanz.“

Methoden zur Datengewinnung und Datenverarbeitung sind:

• Beobachtungs­methoden
• Experiment
• Fallstudie
• Fragebogen
• Interview
• Klinische Studie
• Qualitative Forschung (Qualitative Methoden)
• Quantitative Forschung (Quantitative Methoden)
• Statistische Methoden
• Wirkungsanalyse

Bereiche

Wichtige Anwendungsbereiche sind z. B.:

Qualitätsmanagement

Evaluation hat im Qualitätsmanagement (TQM, ISO 9000, 2Q, Q2E) schon lange einen festen Platz. Im EFQM-Modell wird Evaluation z. B. gefordert, um die Ergebnisse (der Arbeit) bei Kunden, Mitarbeitern und der Gesellschaft zu erfassen. Evaluation fungiert hier als Rückkopplungs­element für die Prozesssteuerung im Rahmen der Organisations- und Qualitätsentwicklung. Es wird dabei überprüft, ob die Interventionen auch tatsächlich die gewünschten Ergebnisse bzw. Wirkungen produzieren (Ursache-Wirkungs-Beziehung). Erfasst werden sowohl subjektive Daten über die Wahrnehmung der Betroffenen, also der Mitarbeiter und Kunden, als auch objektive Leistungsindikatoren, die intern im Unternehmen erfasst werden können.

Neben der Evaluation der Ergebnisse fordert das EFQM-Modell auch die direkte Evaluation der Abläufe, Interventionen und Maßnahmen in den Bereichen Führung, Strategie und Personal. Hier kommt die Methode der Selbstevaluation zur Anwendung, um die Prozesse zu bewerten und schließlich zu verbessern. Die Führungskräfte und Mitarbeiter des Unternehmens evaluieren sich, ihre Teams und ihre Organisation selbst anhand vorgegebener Kriterien. Sie nutzen dazu eigens für das Qualitätsmanagement (QM) entwickelte, möglichst objektive, verlässliche und valide Instrumente und Methoden. Auf Basis der gewonnenen Daten, Einschätzungen und Belege werden Handlungsempfehlungen und Veränderungsmaßnahmen abgeleitet.

Sowohl die Selbst- als auch Fremd-Evaluationen können durch Benchmarking ergänzt und damit aussagekräftiger gemacht werden. Als Benchmarks dienen Daten aus anderen vergleichbaren Organisationen. Sie liefern Maßstäbe für die Bewertung und die Interpretation der eigenen Werte und damit der eigenen Situation. Im Idealfall kann auch die konkrete Kontaktaufnahme mit den Besten der Branche ein gemeinsames Lernen ermöglichen.

Neben diesen rein internen Evaluationen werden zu Zertifizierungs­zwecken auch externe Evaluationen gefordert: externe unabhängige Auditoren evaluieren die Organisation anhand derselben Kriterien und geben ihre Bewertung ab. Die traditionellen Ansätze von EFQM oder ISO9000 beruhen meist auf sehr linearen Ursache-Wirkungsmodellen. Beispiele für andere Herangehensweisen sind zum Beispiel die kybernetischen Ansätze von Fredmund Malik.

Bildung

Als pädagogischer bzw. andragogischer Fachbegriff bedeutet Evaluation „das methodische Erfassen und das begründete Bewerten von Prozessen und Ergebnissen zum besseren Verstehen und Gestalten einer Praxis-Maßnahme im Bildungsbereich durch Wirkungskontrolle, Steuerung und Reflexion.“ Gegenstand von Evaluation können Prozesse und Ergebnisse aus dem Bereich der Mikrodidaktik sowie der Makrodidaktik sein. Des Weiteren können gesamte Programme evaluiert werden.

Umwelt

Der Umweltschutz gehört bisher weder in den USA noch in Europa zu den zentralen Anwendungsgebieten der Evaluation. Sozialwissenschaftliche Studien zur Evaluation von Umweltproblemen sind abgesehen von einigen Ausnahmen vor allem im Bereich des Energieverbrauchs, des Lärmschutzes und der Abfallproduktion selbst im Rahmen größerer politischer Programme eher selten.

Eine Ursache ist sicherlich in der vergleichsweise geringen Anerkennung der Sozialwissenschaften als kompetente Ansprechpartner in Umweltfragen zu sehen, was sich erst angesichts mangelnder Erfolge von Maßnahmen zur Steigerung des Umweltbewusstseins in den neunziger Jahren grundlegend verändert hat. Nachdem die Formel Umweltaufklärung schafft Umweltbewusstsein und Umweltbewusstsein führt zu einem entsprechenden Verhalten durch eine Vielzahl sozialwissenschaftlicher Studien widerlegt und auf die Bedeutung sozialer Faktoren für das umweltrelevante Individualverhalten hingewiesen wurde, begann sich die Umweltdiskussion auch für sozialwissenschaftliche Fragestellungen zu öffnen und verabschiedete sich zunehmend von der Auffassung, dass Umweltprobleme rein durch technische Lösungen zu bewältigen seien.

Gegenwärtig ist die Nachfrage nach Umweltevaluationen sehr stark durch öffentliche Auftraggeber bestimmt. Die Aufträge beziehen sich vorrangig auf die Bewertung politischer Programme oder einzelner Projekte. Insbesondere bei internationalen Organisationen sind dabei Tendenzen zur Entwicklung von Qualitätsanforderungen, die eine Einführung von Umweltevaluationen als Regelverfahren bei der Durchführung politischer Verfahren vorbereiten sollen, zu erkennen. In Deutschland sind auf Bundes- und Landesebene bei den politischen Instanzen bisher bestenfalls erste Ansätze in dieser Richtung wahrzunehmen. Durch den großen Stellenwert von Evaluationen bei der Stadt- und Raumplanung ist eine Etablierung von sozialwissenschaftlichen Umweltevaluationen durch Einbindung in bestehende, eher technisch orientierte (Planungs-)Verfahren wie z. B. die Umweltverträglichkeitsprüfung sogar eher auf regionaler und kommunaler Ebene zu erwarten. Die private Nachfrage nach Umweltevaluationen sowohl durch Unternehmen als auch durch Verbände und zivilgesellschaftliche Organisationen ist dagegen noch sehr gering. Trotz der Entwicklung von Umweltmanagement­systemen (z. B. EMAS) ist eine Einbindung der Erkenntnisse der sozialwissenschaftlichen Evaluation in die Qualitätsmanagementsysteme der Betriebe bisher nicht gelungen.

Auf der Angebotsseite dominieren zumindest teilweise staatlich finanzierte Forschungsinstitute den Markt. Institute, die sich ausschließlich auf die Durchführung von Umweltevaluationen spezialisiert haben, gibt es dabei jedoch nicht. Am weitesten geht hier die Entwicklung beim Centrum für Evaluation der Universität des Saarlandes und dem Centre for Sustainable Management (CSM) der Universität Lüneburg.

Auch bei den privaten Consultings haben nur wenige den Schwerpunkt ihrer Tätigkeiten auf sozialwissenschaftliche Umweltevaluationen gelegt. Hier sind als Beispiele das Institut für sozial-ökologische Forschung (ISOE) und das Institut für ökologische Wirtschaftsforschung (IÖW) zu erwähnen. Darüber hinaus haben auch eingeführte Umweltwissenschaftliche Institute wie das Wuppertal-Institut, das Öko-Institut in Freiburg oder das IFEU-Institut in Heidelberg ihr Angebot in Richtung sozialwissenschaftlicher Forschungsarbeiten erweitert, ohne hierin jedoch ein primäres Geschäftsfeld zu sehen und entsprechende Aufbauarbeiten zu leisten. Angesichts der steigenden Anforderungen, die sich durch das Leitbild der „nachhaltigen Entwicklung“ für die Einführung entsprechender Maßnahmen ergeben, ist allerdings trotz der schwierigen Ausgangslage auch im Umweltbereich eine expansive Entwicklung des Evaluationsmarktes und eine fortschreitende Professionalisierung des Angebots zu erwarten.

Internationale Entwicklungszusammenarbeit

Evaluationen in der Entwicklungszusammenarbeit haben bereits eine lange Tradition. Der Schwerpunkt liegt dabei auf Evaluationen von Projekten und Programmen.

Die ausgeprägte Evaluationskultur innerhalb der Entwicklungszusammenarbeit ist vor allem darin begründet, dass die im Rahmen von Projekten und Programmen eingesetzten Mittel stets gegenüber den Geldgebern gerechtfertigt werden mussten und müssen.

Evaluationsansätze in der Entwicklungszusammenarbeit werden darüber hinaus stark durch internationale Abmachungen, insbesondere der Millenniumserklärung und der Pariser Erklärung geformt. Die sog. „Harmonisierung“ als durchgängiges Prinzip der Entwicklungszusammenarbeit schlägt sich beispielsweise in der Forderung nach Gemeinschaftsevaluierungen der Akteure nieder. In Deutschland haben sich staatliche Organisationen der „Entwicklungszusammenarbeit aus einem Guss“ verpflichtet und streben auch bei Evaluationen ein einheitliches Vorgehen an. Partnerländer übernehmen zunehmend die Rollen des Auftraggebers und des Durchführenden von Evaluation.

Was die Evaluationsgegenstände betrifft, so verlagert sich der Fokus immer mehr von der Output-Evaluation als Leistungsnachweis hin zu Evaluation der Wirkungen (Outcomes und Impacts) von Projekten und Programmen auf dem Gebiet der Entwicklungszusammenarbeit. Man arbeitet mit Wirkungsketten und ausgefeilten Evaluationsdesigns, wie z. B. der Logical Framework Matrix („Logframe“).

Traditionelle Evaluationskonzepte- und methoden, die auf linearen Kausalitätsmodellen beruhen, werden jedoch zunehmend hinterfragt und durch kybernetische Ansätze ergänzt oder gar verdrängt. Eine ähnliche Entwicklung, wie sie derzeit auch im Bereich der Organisationsentwicklung und –evaluation stattfindet. Neben der Suche nach innovativen (Selbst-)Evaluationsmethoden (z. B. Lernhelix) erscheint die (Weiter-)Entwicklung wissenschaftlich fundierter Konzepte als Grundlagen für Evaluation, wie z. B. das Dienstleistungsqualitäts- oder das Lebensqualitätskonzept erscheint dabei besonders wichtig. Im Vergleich zu anderen Branchen, wie z. B. dem Bildungs- oder dem Gesundheits- und Sozialwesen, findet in der Entwicklungszusammenarbeit vergleichsweise wenig wissenschaftliches Knowhow („evidence base“) Eingang in die Evaluation.

Organisationen

Die deutsche DeGEval - Gesellschaft für Evaluation - hat zahlreiche methodische und sektorale Arbeitskreise. Sie hat Standards, Empfehlungen und Handreichungen zur Planung und Durchführung von Evaluationen herausgegeben. Ihre Mitglieder stammen überwiegend aus Deutschland und Österreich.

Im internationalen Bereich haben Organisationen wie UN, EU, OECD, IWF, GIZ etc. eigene Evaluations-Abteilungen, welche jeweils neben der Bearbeitung konkreter Fragestellungen auch allgemeine Standards und Methoden sammeln, entwickeln und aufbereiten.

Daneben sind im deutschsprachigen Raum vor allem auch Forschungsorganisationen, wie das Centrum für Evaluation im Saarland oder die proEval in Österreich, an der Professionalisierung der Evaluation beteiligt.

Siehe auch

• Bewertung - Begriffsklärungsseite (BKS)

Literatur

• L. Balzer: Wie werden Evaluationsprojekte erfolgreich? - Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Verlag Empirische Pädagogik, Landau 2005
• Wolfgang Beywl: Zur Weiterentwicklung der Evaluationsmethodologie. Grundlegung, Konzeption und Anwendung eines Modells der responsiven Evaluation. Peter Lang, Frankfurt am Main 1984.
• Jürgen Bortz, Nicola Döring: Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. 4. Auflage, Springer, Berlin 2006.
• Robert D. Brown: Program Evaluation: Agendas for Discussion of Issues and for Future Research, In: John A. Glover, Royce R. Ronning (Hrsg.): Historical foundations of educational psychology, Plenum, New York 1987, S. 239–258.
• H. Freeman, P. H. Rossi, G. D. Sandefur (Hrsg.): Workbook for evaluation. A systematic approach, Sage, Thousand Oaks 1993.
• H. Kromrey: Evaluation – ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. Sozialwissenschaften und Berufspraxis 24 (2001), 105–129.
• B. Lee: Theories of Evaluation. In: Stockmann, Reinhard (Hrsg.): Evaluationsforschung, Leske und Budrich, Opladen 2000, S. 127–164.
• Marc-André Nadeau: L'évaluation de programme, théorie et pratique, Presses Université Laval, Québec-Ottawa 2. A. 1988.
• P. H. Rossi, M. W. Lipsey, H. E. Freeman (Hrsg.): Evaluation. A systematic approach, Sage, Thousand Oaks 7. A. 2004.
• M. Ruep, G. Keller: Schulevaluation. Frankfurt am Main 2007.
• James R. Sanders: Handbuch der Evaluationsstandards. Die Standards des „Joint Committee on Standards for Educational Evaluation“, Übersetzt von W. Beywl und T. Widmer, 3. Auflage, Wiesbaden 2006.
• Reinhard Stockmann (Hrsg.): Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Waxmann, Münster u. a. 2007.
• D. L. Stufflebeam, G. F. Madaus, T. Kellaghan (Hrsg.): Evaluation models. Viewpoints on educational and human services evaluation. Kluwer, Boston 2001.
• Robert D. Tennyson, Ronald O. Anderson: Evaluation and educational technology. A selected bibliography, Educational Technology, New Jersey 1990.
• H. Wottawa, H. Thierau: Lehrbuch Evaluation. 2. Aufl., Hans Huber, Bern 1998.
• H. Wottawa: Evaluation. In: A. Krapp, B. Weidenmann (Hrsg.): Pädagogische Psychologie. Beltz, Weinheim 2001, S. 649–674.

Weblinks

Wiktionary: Evaluation – Bedeutungserklärungen, Wortherkunft, Synonyme, Übersetzungen

 Commons: Evaluation – Sammlung von Bildern, Videos und Audiodateien

• Centrum für Evaluation (CEval) der Universität des Saarlandes
• Eval-Wiki: Glossar der Evaluation, hrsg. Univation, Institut für Evaluation
• Jan Hense: Wörterbuch Evaluation, LMU München 2010.
• Christine Schwarz: Evaluation als modernes Ritual (PDF-Datei; 166 kB), Vortrag, Heinrich Böll Stiftung, Berlin 2004.