Sprach- und Schriftsprachförderung wirksam gestalten: Evaluation umgesetzter Konzepte
Ausgangslagen dieser Vorhaben und ihre thematischen Schwerpunktsetzungen sollen daher genauer dargestellt werden. Anschließend werden Herausforderungen reflektiert, die sich in der konkreten Arbeit der Projekte ergaben. Das Kapitel schließt mit einer Gesamtreflexion der Erfahrungen und Erkenntnisse aus der Arbeit der externen Evaluationsprojekte und einem Ausblick, was bei zukünftigen Vorhaben der Evaluations- und Implementationsforschung berücksichtigt werden sollte.
1 Evaluationskonzept des BiSS-Programms
Die Evaluationsstrategie von BiSS basierte auf einem Evaluationskonzept (Henschel, Stanat, Becker-Mrotzek, Hasselhorn & Roth, 2014), das (a) die politischen Erwartungen von Bund und Ländern, (b) die spezifischen Rahmenbedingungen und Ausgangslagen in den an BiSS beteiligten Verbünden und (c) die wissenschaftlichen Anforderungen an Evaluationsprojekte berücksichtigte. Diese drei Bereiche lassen sich wie folgt beschreiben:
(a) Politische Erwartungen und übergeordnete Zielsetzungen. Die Grundlage für die Ausgestaltung des BiSS-Programms und die Entwicklung des Evaluationskonzepts bildete die BiSS-Expertise. Sie basiert auf einem Eckpunktepapier, das die übergeordneten Zielvorstellungen der Steuerungsgruppe von Bund und Ländern zur »Feststellung der Leistungsfähigkeit des deutschen Bildungswesens im internationalen Vergleich« an die BiSS-Initiative zusammenfasst. In der Expertise heißt es: »Das Trägerkonsortium [identifiziert] Ansätze und Konzepte mit besonderem Entwicklungspotenzial für Umsetzungsempfehlungen in die Fläche und schlägt […] die Ausschreibung quasi-experimenteller formativer oder auch summativer Evaluationsstudien vor, die dem Interesse der Länder nach Auskunft zur Wirksamkeit ihrer Maßnahmen und Programme gerecht werden« (Schneider et al., 2012, S. 161). Damit verbunden war die Annahme, dass die Mehrzahl der in den Ländern umgesetzten Maßnahmen zum Programmstart von BiSS bereits gut beschrieben vorlagen, systematisch umgesetzt wurden und ihre Wirksamkeit zumindest aufgrund alltagspraktischer Erfahrungen nahelag oder sogar bereits empirisch bestätigt worden war (Steuerungsgruppe »Feststellung der Leistungsfähigkeit des Bildungswesens im internationalen Vergleich«, 2012). Die Ergebnisse der Evaluation sollten durch die Berücksichtigung möglichst vieler Verbünde und Bildungseinrichtungen aus unterschiedlichen Ländern zudem eine möglichst hohe Reichweite erzielen.
(b) Rahmenbedingungen und Ausgangslagen in den Verbünden. Am BiSS-Programm nahmen etwa 100 Verbünde aus allen Ländern teil, die jeweils ein gemeinsames Konzept der Sprachbildung, Sprach- oder Leseförderung umsetzten und weiterentwickelten. Jeder Verbund bestand dabei aus drei bis zehn Kindertageseinrichtungen (Kitas) bzw. Schulen, deren gemeinsame Aktivitäten von einer Verbundkoordinatorin bzw. einem Verbundkoordinator koordiniert wurden. Jedes Konzept der Sprachbildung, Sprach- und Leseförderung ließ sich inhaltlich mindestens einem von insgesamt 15 BiSS-Modulen zuordnen (z. B. Modul E1: Gezielte alltagsintegrierte Sprachbildung in der Kita; Modul P1: Gezielte sprachliche Bildung in alltäglichen und fachlichen Kontexten; Schneider et al., 2012). Die Art und Weise, mit der eine konkrete Fördermaßnahme (z. B. zum dialogischen Lesen) ausgestaltet wurde, variierte in der Regel jedoch zwischen den Verbünden eines Moduls, etwa aufgrund lokaler Rahmenbedingungen oder individueller Voraussetzungen und Bedürfnisse der Beteiligten. Die meisten Verbünde hatten sich zu Beginn des BiSS-Programms neu konstituiert, sodass zunächst Arbeitsstrukturen aufgebaut und Konzepte ausgearbeitet bzw. adaptiert und weiterentwickelt werden mussten. Wenige BiSS-Verbünde waren aus einer bereits längeren Zusammenarbeit zwischen den Einrichtungen hervorgegangen.
(c) Wissenschaftliche Anforderungen an Evaluationsprojekte. Leitend für die Durchführung der Evaluation im BiSS-Programm sollten die Standards der Deutschen Gesellschaft für Evaluation sein (DeGEval, 2002). Evaluiert wurden Konzepte der Sprachbildung, Sprach- und Leseförderung. Bei den Konzepten sollte es sich um aufeinander abgestimmte Maßnahmen zur Professionalisierung, Diagnostik und Förderung handeln, von denen begründet angenommen werden konnte, dass sich mit ihnen bestimmte Ziele erreichen lassen (z. B. Steigerung der Leseflüssigkeit mit Lesetandems).
Bereits bei der Erstellung des Evaluationskonzepts wurde deutlich, dass die unter (a) formulierte Annahme, wonach in den meisten Verbünden gut beschriebene Konzepte vorlagen und diese bereits systematisch umgesetzt wurden, für die Mehrzahl der Verbünde nicht oder nur sehr eingeschränkt zutraf und die politischen Erwartungen an den Entwicklungsstand der Konzepte möglicherweise zu hoch waren (Henschel et al., 2014). So befand sich im Schulbereich ein Großteil der Konzepte (71.23 %) noch in der Phase der Neu- oder Weiterentwicklung – Verbünde in dieser Phase hatten ihre Arbeit also erst kürzlich aufgenommen oder arbeiteten noch an einer gemeinsamen Vorgehensweise zur Umsetzung des Konzepts. In nur knapp einem Drittel der Schulverbünde (28.77 %) lag das Konzept weitgehend ausgearbeitet vor und war bereits systematisch erprobt worden. Im Elementarbereich waren die Konzepte tendenziell etwas weiter entwickelt als im Schulbereich, aber auch hier arbeitete ein bedeutsamer Anteil der Verbünde (37.93 %) noch an der Neu- oder Weiterentwicklung.
Insgesamt war die Arbeit in einem Großteil der Verbünde also noch nicht weit genug fortgeschritten, um eine externe Evaluation (formativer oder summativer Art) sinnvoll durchführen zu können. Um den Unterschieden im Entwicklungsstand gerecht zu werden und alle Verbünde in ihrer Arbeit zu unterstützen, sah das Evaluationskonzept des BiSS-Programms (Henschel et al., 2014) zwei Säulen vor: (1) eine Workshopreihe zum Thema Selbstevaluation (»Qualitätsmonitoring«) und (2) externe Evaluationen von bereits weiter entwickelten Konzepten durch wissenschaftliche Teams, die in zwei Runden stattfinden sollten. Die Workshopreihe »Qualitätsmonitoring« setzte sich aus fünf zweitägigen Veranstaltungen zusammen. Diese befassten sich mit den einzelnen Schritten einer Selbstevaluation und zielten darauf ab, die Praktikerinnen und Praktiker in die Lage zu versetzen, die Qualität ihrer eigenen Arbeit zu überprüfen und weiterzuentwickeln. Mit diesem Angebot war auch das Ziel verbunden, Verbünde mit weniger weit entwickelten Konzepten so zu unterstützen, dass sie in der zweiten Runde in der Lage sein könnten, ebenfalls an einer externen Evaluation teilzunehmen. Die zweite Säule bildeten die externen Evaluationsprojekte, in die Verbünde mit weiter entwickelten Konzepten einbezogen wurden. Um diese Projekte geht es im vorliegenden fünften Band der Publikationsreihe »Bildung durch Sprache und Schrift«.
2 Strukturelle Ausgangslage der externen Evaluationsprojekte
In zwei Runden wurden im Rahmen des BiSS-Programms für insgesamt zehn externe Evaluationsprojekte gemeinsam vom BMFSFJ und BMBF Förderbekanntmachungen veröffentlicht (BMFSFJ & BMBF, 2014, 2015), die sich jeweils auf bestimmte Bildungsetappen und inhaltliche Schwerpunkte bezogen (z. B. im Elementarbereich Modul E1: Gezielte alltagsintegrierte Sprachbildung in der Kita). Die Projektlaufzeit betrug in der Regel drei Jahre. Wissenschaftliche Institute konnten sich alleine oder in Kooperation mit weiteren Forschungseinrichtungen auf die Förderbekanntmachungen bewerben. Die erste Bekanntmachung, in deren Anschluss drei Projekte ab Januar 2015 gefördert wurden, zielte primär auf die formative, also prozessbegleitende Evaluation von Vorhaben und sollte insbesondere der Verbesserung der Konzept- und Umsetzungsqualität dienen. Auf diese Weise konnten auch Verbünde in die Evaluation einbezogen werden, deren Konzepte zunächst erprobt und in der Evaluation weiter optimiert werden sollten. Nach der zweiten Bekanntmachung wurden ab Januar 2016 sieben weitere Projekte gefördert, die stärker darauf abzielten, neben formativen Aspekten auch die Wirksamkeit der Maßnahmen in den Blick zu nehmen, also auch summative Evaluationsziele zu verfolgen. Durch dieses zweistufige Vorgehen war es möglich, insgesamt etwa die Hälfte aller an BiSS teilnehmenden Verbünde in externe Evaluationsprojekte einzubeziehen.
Die Zusammenstellung der Verbünde, die in die einzelnen Projekte einbezogen werden sollten, wurde auf Basis der Verbundanträge und inhaltlicher Schwerpunktsetzungen vom BiSS-Trägerkonsortium vorgeschlagen, wobei aufgrund des länderübergreifenden Charakters des BiSS-Programms an jedem Projekt mindestens drei Verbünde aus unterschiedlichen Ländern beteiligt sein sollten. Die Auswahl und Gruppierung der Verbünde erfolgte anhand ihrer übergeordneten Ziele (z. B. Modul E1: Gezielte alltagsintegrierte Sprachbildung in der Kita) sowie des Entwicklungsstands ihrer Arbeit. Alle Verbünde eines Evaluationsprojekts verfolgten das gleiche übergeordnete Ziel und setzten teilweise die gleichen Maßnahmen um (z. B. Leseförderung mit Lesetandems), wobei sich die konkrete Ausgestaltung aufgrund lokaler Bedingungen unterscheiden konnte (z. B. wie