digitalien.org — Stefan Knecht

Menu
Search
✁

Evidenz sozialer Interventionen​

Was ‘Wissenschaft’ ausmacht im Gegensatz zu Glauben oder esoterischem Denken ist in Glauben, Wissen und Schrödingers Kühlschrank umrissen. Es geht um Fakten, Evidenz und Argumente und damit um die Herleitung einer Wirkungskette.

Wie steht es um die Wirksamkeit sozialer Interventionen?

Verlassen wir die Komfortzone: in sozialen Systemen und im Speziellen in Unternehmen und Organisationen ist die Lage nicht so eindeutig wie im Umgang mit unbelebter Materie. 

Das ist unangenehm und diffus: sollte man als Praktiker in sozialen Kontexten doch ebenso wissen, welche Interventionen unter welchen Randbedingungen welchen erwünschten, neuen Zustand hervorrufen? Es geht ja um etwas Lebendiges: strukturelle oder prozessuale Änderungen in Organisationen betreffen immer Menschen, wie sie miteinander umgehen und damit implizit ihre Freude an Erwerbsarbeit, ein Auskommen mit zumutbaren Umständen.

Andernfalls — wenn kein Erwartungshorizont zu Interventionen besteht, dann wäre professionelles Coaching nicht verschieden von Homöopathie. 

Tückisch.

(Es gibt einen älteren Beitrag zu Evidenzen in der Organisationsforschung und in ‘Change’-Situationen: »70% aller Change-Initiativen scheitern. Nicht.«)

Wer Veränderung erreicht, tut das Richtige? — ’Wer heilt, hat Recht?’

Im Zweifel: ja.

Die dahinter liegende Skepsis ist gespeist durch die unausgesprochene Generalisierung, dass ‘etwas’ immer wirkt oder heilt und somit soziale oder strukturelle Randbedingungen ein unwesentlicher Einflussfaktor seien.

Doch so ist es ja nicht.

Nehmen wir ‘agile Formen’ als Beispiel: Scrum ist ein empirisches Vorgehen zur Produktentwicklung unter Unsicherheit. Funktioniert Scrum immer und erbringt verlässlich die erwünschten Resultate? Natürlich nicht — die sozial-dynamischen, strukturellen Randbedingungen sind in jedem verflixten Einzelfall andere. Das Framework selbst bringt keine prüfbare Theorie mit sondern bündelt einen Strauss von Erfahrungen/Empirie zu einem Modell. 

Es kann klappen, muss aber nicht.

Zweckdienliche Abschweifung: evidenzbasierte Medizin

Die stehende Frage der evidenzbasierten Medizin (EBM) ist verkürzt: »Welche medizinischen Massnahmen wirken sich wie auf den Gesundheitszustand aus?« Und wie lange wirken diese im Längsschnitt, also über längere Zeiträume, Monate, Halbjahre, Jahre … für immer und das ganze Leben? Wirken Eingriffe oder Pharmazie bei jedem Menschen oder unter welchen Randbedingungen? Was sind angemessene und umsetzbare medizinische Behandlungen? Das ist schwierig, uneindeutig und der Fächer breit: in Health Care geht es schnell um viel Geld und Chancengleichheit, also sollte man besser wissen, was wirkt.

Evidenzhierarchie in der Medizin

Ein Rahmenwerk zur Einordnung ist die Evidenzhierarchie. Darin geht es um die Stichhaltigkeit von Belegen und Indizien1mehr, viel mehr dazu: Sackett et al 1996: je weiter oben eine Methode zur Datengewinnung steht, um so verlässlicher sind die Ergebnisse2Pinotti (n.d.) für die Icahn School of Medicine.

Je weiter oben Indizien stehen, desto evidenter oder stichhaltiger sind sie:

  1. Metaanalyse, systematische Reviews
  2. kontrolliert randomisiertes Experiment
  3. qualitative Feldstudie, Beobachtungen
  4. Kohortenvergleich
  5. Befragung, Benchmarking
  6. Fallstudie
  7. Expertenmeinung
  8. persönliche Erfahrungsberichte zu Ursache/Wirkung

 

Das Cochrane-Verfahren ist das etablierte Vorgehen in der Medizin.3https://de.wikipedia.org/wiki/Cochrane_Library In DE/AT ist die Datenbank leider kostenpflichtig. Mehr dazu: Higgins 2021

Evident ist ein nachgewiesener Wirkzusammenhang:

Zustand A → Intervention B → Ergebnis C

In der Begründung von Evidenzen geht es also darum, Entscheidungen auf der Grundlage einer gewissenhaften, expliziten und vernünftigen Verwendung der besten verfügbaren Beweise aus verschiedenen Quellen zu treffen.44Zarghi 2018

Es stecken eine Reihe Adjektive in diesem mittelkurzen Satz:

gewissenhaft — alles so gut betrachten, dessen man habhaft werden kann

explizit — ausgesprochen und offenbart, sichtbar gemacht

vernünftig — rationaler Denkart folgend

der besten verfügbaren — jene Indizien auswählen, die sowohl zugänglich wie nachvollziehbar sind

Das Bündel beschreibt eine rational-wissenschaftliche Haltung und Arbeitsweise. Fehlt eines der Adjektive, dann muss es nicht unwissenschaftlich sein, nur eben weniger kraftvoll, weniger evident.

Dahinter steckt die Annahme, dass alle Veränderungen auf letztlich erkenn- und berechenbare Wirkungen zurückgeführt werden können oder: »Alles Wirken ist ein Bewirktwerden« (Stegmüller 1969,431; zitiert nach Arnold 2018,49)

Weshalb sind Metaanalysen die stärksten Evidenznachweise?

Metaanalysen sind der Goldstandard des Evidenznachweises weil Vergleichbarkeit und aggregierter Erkenntnisfortschritt über viele rational vergleichbare Studien ermöglicht wird. Das macht Metaanalysen wertvoller als anekdotische Erfahrungsberichte, Best Practices oder Case Studies.

Die solide Meinung oder formulierte Erfahrung einer Person ist folgerichtig am unteren Ende der Hierarchie.

Metastudien sind allerdings eine Heidenarbeit: mühsam in der Durchführung und methodisch stringent.

Rapid Evidence Assessment, REA — das kleine Geschwister der Metanalyse

Eine REA geht ein wenig flotter, nicht unbedingt weniger penibel an die Auswertung vorhandener Belege. Es werden akademische Beiträge objektiv und reproduzierbar gefiltert, bewertet und Evidenzen aggregiert. Wo eine Metaanalyse bis tief in die Bilge statistischer Methoden taucht, lässt eine REA es früher gut sein. Das muss nicht weniger erbringen, geht dafür schneller. Anders als eine subjektiv gestaltbare Literaturübersicht ist ein REA weniger voreingenommen. Strukturelle Denkfehler5etwa nach Bestätigungen der eigenen Sicht suchen und dabei Gegenläufiges ignorieren … und Dutzende weitere können so kontrolliert werden. Der ‘Beweis’, evidence können Informationen, Fakten oder Daten sein, die eine Behauptung, Annahme oder Hypothese unterstützen oder widerlegen. Das kann experimentelle Forschung sein oder nicht-systematische Praxiserfahrungen, also das Spektrum der ganzen Evidenzhierarchie aus der Darstellung oben. Es geht im Rapid Evidence Assessment also darum, quantitativ und qualitativ bewertbar zu machen, ob eine Erkenntnis generalisierbar ist oder nur unter spezifischen Randbedingungen gilt.6In zwölf standardisierten Schritten werden dazu systematisch Primärstudien in 5 Güteklassen, von A+ bis D bewertet. A+ wäre ein systematischer Review mit Metaanalyse randomisiert-kontrollierter Studien, D wäre eine Querschnittstudie mit geringster Verallgemeinerung. Mehr unter dem obigen Link.

Ergebnis einer REA ist eine nachvollziehbar ausgewogene und objektivierte Bewertung dessen, was in der wissenschaftlichen Literatur über eine Intervention, einen Anspruch oder ein praktisches Problem bekannt ist.

Reality Check: ist REA ein akademischer Ladenhüter, Irrweg oder wird das Verfahren tatsächlich eingesetzt? Letzteres: hunderte von Sucherergebnissen bei z.B. researchgate, Anmeldung erforderlich — mit hoher Aktualität und quer durch beliebige Fachgebiete.

Das nicht-kommerzielle Center for Evidence-Based Management (CEBM)  nutzt REAs um Metanalysen für Massnahmenwirkungen in der Organisations- und Managementforschung zu gewinnen. 

Ein grossartiger Myth-Buster.

Das Gewusel im Sozialen

Wiederholung: evident ist nachgewiesener Wirkzusammenhang:

Zustand A → Intervention B → Ergebnis C

Nun kann man Rand- oder Umweltbedingungen verändern und sehen, ob ABC noch immer gilt. Manches gilt immer und überall (Apfel → loslassen → Apfel am Boden), manches andere nur unter spezifischen Bedingungen (Kopfschmerzen → Aspirin → keine Kopfschmerzen). »Apfel in der Internationalen Raumstation loslassen« führt zu anderen Ergebnissen als auf der Erde. Andere Bedingungen, andere Wirkungen.

Eindeutige soziale Bedingungen?

Das störrische Biest sozialer Interventionen hat nur selten einen ‘eindeutigen Zustand A’. Im guten Fall gibt es eine geteilte, im sozialen Feld akzeptierte Erzählung, die hinreichend beschreibt, wie es zum gegenwärtigen Zustand kommt, weshalb das unbefriedigend ist und wie Besserung geschehen kann.

In anderen Fällen hat jedes Organisationsmitglied eine eigene Erzählung.

Wir können versuchen, beobachtbare Zustände in Unternehmen zu beschreiben — objektiv wie in der Physik wird es nie werden können. 

Es fehlt eine objektivierende Sprache, ein Zeichensystem, Axiome … all das, was die harten Wissenschaften sich mühsam und kontrovers zu einem Konsens erwirtschaften konnten. 

Scientific fields arranged by purity 

Generationen von Soziologen, Organisationsforschern, Psychologen kämpfen damit im Treibsand der weichen Materie des Sozialen. Je nach Schule, Lehrmeinung, Zeitgeist und Leidensdruck werden Umstände naturgemäß anders beschrieben und bewertet. 

Einen Jung, Senge oder Kotter oder Baecker versteht man in den 1980er, 90ern oder 2020ern anders als zum Zeitpunkt der Veröffentlichung: die Gesellschaft ändert sich, mit ihr die Moden, die Bedeutung von Begriffen. Mit neuen Einsichten verblassen überholte.

So kommt es, dass was gestern gestern noch als helles Licht schien, morgen vor sich hinfunzelt. Einige wenige strahlen unbeirrt.

Vielleicht ist die Erwartung und das Einfordern evidenter Interventionen (add yours: Massnahmen, Praktiken, Frameworks, best practices, Schlangenöl) in sozialen Umgebungen weder möglich noch sinnvoll? 

Dann ist es besser, dieser Beitrag findet hier und jetzt ein Ende. Nutzen wir Lebenszeit besser für fruchtbare Fragen.

 

Ist es zu viel gewünscht, wenigstens jene Interventionen zu identifizieren, die theorie- und kontextfrei Besserung versprechen und doch in der kollektiven Empirie ihrer Praktiker keine bleibende Veränderung zeigen?

Herrje.

Gibt es Evidenz in sozialer Arbeit? Evidence-based Social Work (EBSW) und die EFEPAC-Kriterien

Soziale Arbeit ist auch, wenn mit Menschen in Organisationen strukturelle, prozessuale oder formale Vereinbarungen getroffen werden.7Nein, das ist keine ordentliche Definition sondern ein für diesen Beitrag erschaffener Arbeitsbegriff. 

Soziale Organisationsarbeit vermittelt über methodische oder operative Beratung oder das Coaching von Personen oder Gruppen/Teams Lösungsansätze um als dysfunktional wahrgenommene Zustände zu verbessern.8Ja, ’Gruppe’ und ‘Team’ werden hier gleichbedeutend verwendet. Ja, es gibt differenzierte Definitionen — diese auszuführen führte weiter weg vom Thema als es ohnehin geschieht. 

Soziale Organisationsarbeit behandelt einen breiten Kanon an Fragen, etwa: Wie wollen und sollen wir zusammen arbeiten, wie Entscheidungen treffen, wer darf was entscheiden, wer soll konsultiert werden, wie wird dokumentiert, wie Konflikte moderiert usw.

Evidenzbasierte soziale Arbeit

Analog gibt es im recht jungen Feld für evidenzbasierten soziale Arbeit die EFEPAC-Kriterien, die dem Rapid Evidence Assessment ähneln und Spezifika der Sozialforschung zu berücksichtigen versuchen. Das Akronym EFEPAC setzt sich zusammen aus der Einstufung der Evidenz (Grading), die Durchführbarkeit und die Notwendigkeit von Änderungen oder Massnahmen (Feasibility), den Umfang (Extend) und Aussagekraft (Power) der Evidenz, das Ziel (Aim) der betrachteten Studien, ihre Messung (Validität) sowie den Kontext (Context) mitsamt soziodemografischen Teilnehmermerkmalen.9Zarghi et al 2018

Die EFEPAC-Kriterien aufgedröselt …Die Gradierung/Bewertung folgt 9 Stufen, in denen sich die Evidenzhierarchie (Grafik oben) invertiert wiederfindet:
  • 0 no evidence
  • 1 Evidence based on professional judgement
  • 2 Evidence based on educational and social principles
  • 3 Evidence based on experience and case studies
  • 4 Evidence based on consensus views built on experience
  • 5 Evidence based on studies in a comparable but not identical area
  • 6 Evidence based on well-designed non-experimental studies
  • 7 Evidence based on well-designed quasi-experimental studies
  • 8 Evidence based on well-designed controlled studies

Der Extend/Umfang gliedert sich in …

    • Primärstudien: Einzelstudien mit nicht/-experimentellen Designs
    • Sekundärstudie: unterschiedliche Übersichtsdesigns, Metaanalysen und Metasynthesen
    • Tertiäruntersuchungen: Review von Reviews und Reviews von Metaanalysen

… und Kriterien zur Aussagekraft:

  • Aussagekraft/Power von Evidenzen
  • Statistisch, Signifikanz
  • Soziale Bedeutung der verwendeten Methode
  • soziale Auswirkungen

(Die beiden letzten Kriterien ‘Bedeutung’ und ‘Auswirkungen’ als Kriterien der Aussagekraft erscheinen unschärfer gefasst als die oberen.)

Ziel/Aim der Untersuchung und ihrer Messung als Validität oder Strenge der Methodik

K/Context als Charakteristika des sozialen Systemen im Sinne der Relevanz für eine eigene Umsetzung

(Das Kontext-Kriterium ist nicht eindeutig definiert?)

Zu EFEPAC-basierter Sozialforschung sind kaum Materialien aufzufinden. Vielleicht ein Rohrkrepierer und dead on arrival, vielleicht zu frisch um Ergebnisse zu zeigen. 

So bleibt es unbefriedigend.

Kann es sein, dass die Suche nach Evidenz im Sozialen ein Holzweg ist?

Wissenschaft, Evidenz, Empirie und konstruierte Wirklichkeit

Der Philosoph Byung-Chul Han stemmt sich gegen den Zeitgeist mathematisierter Beschreibungen, deren Verfahren sich auf das Ob beschränken und das Warum vollständig ausblenden.10Han 2016, zitiert nach Arnold 2018

Da ist was dran. Was?
Das ‘Warum’ ist der Kern: warum funktioniert in einer Situation eine Intervention wie erwartet und in der nächstähnlichen nicht?

Evidenz der Fakten: Wie faktisch ist die Wirklichkeit?

Die Dinge sehen anders aus, blickt man mit Denkformen des Konstruktivismus auf Evidenzen, Statistik, Fakten und Kausalwirkungen. Verstörend anders.

(…) Wahrheiten der deskriptiven Statistik z.B. zu Lebenserwartung, Einwohnerzahl sind unmittelbarer verpflichtend, während kausale Wirkungszusammenhänge sich wesentlich schwieriger evidenzbasiert eindeutig bestimmen lassen.

Arnold, 2018,15 Tweet

Ein zentraler Satz des Konstruktivismus lautet »Alles, was gesagt wird, wird von einem Beobachter gesagt.« Erkenntnisse sind damit das »Ergebnis von Anpassung« und nicht »Erkenntnis einer objektiven Wirklichkeit«, wie Ernst von Glasersfeld beschrieb11Glasersfeld 1992,29f, zitiert nach Arnold 2018,33. Als Beobachter sehen wir nur, was wir subjektiv auch wahrnehmen können, wofür wir Sinne und interpretierende Begriffe haben. 

Auch wenn das methodisch und diszipliniert geschieht und wir uns als Beobachter-Coaches Mühe geben, eine differenzierte Sprache verwenden — es bleibt eine subjektiv konstruierte Wirklichkeit.

»Faktenorientierung benötigt deshalb eine metafaktische Reflexion, damit wir das, was wirkt, erkennen und durch wirksame Weisen der Gestaltung und Intervention verändern können.«

Arnold 2018,14 Tweet

Oder anders formuliert: 

Im Sozialen12und damit auch in Organisationen, Unternehmen — ganz gleich, in welcher Art sie sich organisieren agieren evidenzbasierte Forschungen ohne eine beobachtertheoretische Selbstreflexion. Korrelation ist keine Kausalität ist keine Evidenz. In sozialen Systemen liegen Wirkzusammenhänge nicht offen weil jedes Individuum in seiner Einzigartigkeit von Motiven und Kompetenzen nicht immer rational-mechanistisch handelt.

Das ist der schmerzhafte Unterschied zu Evidenzen etwa in der Physik: Stromkreise/Spannung sind berechenbar — menschliches Verhalten oder Nicht-Verhalten in Organisationen nicht.

Damit kann man nun klarkommen.
Krönchen richten, weitermachen.

Dieser Beitrag steht unter einer
CC BY-NC 4.0-Lizenz

Index dieser Seite → anzeigen

Quellen

Das Comic stammt von https://imgs.xkcd.com/comics/purity.png

Das Bild der Schlangenölflasche ist ein Amazon-Buchcover.

‘What Is Evidence-Based Management? – Center for Evidence Based Management’. n.d. Accessed 5 April 2021. URL.

Arnold, Rolf. 2018. Ach, die Fakten! wider den Aufstand des schwachen Denkens. Erste Auflage. Systemische Horizonte – Theorie der Praxis. Heidelberg: Carl-Auer-Systeme Verlag und Verlagsbuchhandlung GmbH.

Frizell, S., Z. J. Miller, P. Rebala a. C. Wilson (2017): Can Trump handle the truth? Time magazine 3: 20–27.

Glasersfeld, E. von (1992): Konstruktion der Wirklichkeit und der Begriff der Objektivität. In: H. Gumin u. H. Meier (Hrsg.): Einführung in den Konstruktivismus. München (Piper), 5. Auflage

Han, Byung-Chul. 2016. Die Austreibung Des Anderen: Gesellschaft, Wahrnehmung Und Kommunikation Heute. S. Fischer Wissenschaft. Frankfurt am Main. ISBN 9783103972122

Higgins, J., Thomas, J., Chandler, J., Cumpston, M., Li, T., Page, M., & Welch, V. (2021). Cochrane Handbook for Systematic Reviews of Interventions (v6.2, 2021). Abgerufen 5. April 2021, von https://training.cochrane.org/handbook/current

Kara, S. (2017): Kann das stimmen? Von Statistiken, Umfragen und Hochrechnungen lassen wir uns leicht beeindrucken – So erkennen Sie die Tricks der Täuscher. DIE ZEIT Nr. 18, 27.4.2017, S. 33–35.

Pinotti, Rachel. n.d. ‘Levy Library Guides: Evidence Based Medicine: The Evidence Hierarchy’. Icahn School of Medicine at Mount Sinai. Accessed 20 January 2022. https://libguides.mssm.edu/ebm/hierarchy.

Pörksen, B. (2015): Die Beobachtung des Beobachters. Eine Erkenntnistheorie der Journalistik. Heidelberg (Carl-Auer).

Sackett, D. L, W. M C Rosenberg, J A M. Gray, R B. Haynes, and W S. Richardson. 1996. ‘Evidence Based Medicine: What It Is and What It Isn’t’. BMJ 312 (7023): 71–72. https://doi.org/10.1136/bmj.312.7023.71.

Stegmüller, W. (1969): Wissenschaftliche Erklärung und Begründung. (Probleme und Resultate der Wissenschaftstheorie und Analytischer Philosophie. Bd. 1.) Berlin/Heidelberg/New York (Springer).

Zarghi, Nazila, and Soheil Dastmalchian Khorasani. 2018. ‘Evidence-Based Social Sciences: A New Emerging Field’. European Journal of Social Science Education and Research 5 (2): 230. https://doi.org/10.26417/ejser.v5i2.p230-233.