Meta-analysis on the impact of in-service professional development programs for preschool teachers on quality ratings and child outcomes. - Deutscher Bildungsserver

Egert, Franziska

Meta-analysis on the impact of in-service professional development programs for preschool teachers on quality ratings and child outcomes.

h t t p s : / / n b n - r e s o l v i n g . o r g / u r n : n b n : d e : b v b : 4 7 3 - o p u s 4 - 4 5 6 8 2 1

h t t p : / / d - n b . i n f o / 1 0 8 1 9 3 5 1 9 7 / 3 4

h t t p s : / / o p u s 4 . k o b v . d e / o p u s 4 - b a m b e r g / f r o n t d o o r / i n d e x / i n d e x / d o c I d / 4 5 6 8 2

[ Meta-analysis on the impact of in-service professional development programs for preschool teachers on quality ratings and child outcomes.Link defekt? Bitte melden! ]

Ausgehend von der Annahme, dass qualitativ hochwerte frühkindliche Bildung das kindliche Lernen positiv beeinflusst wurden in den letzten Jahren national und international viele politische Anstrengungen in der Aus- und Weiterbildung frühpädagogischer Fachkräfte unternommen (Oberhuemer, 2012; 2013; OECD, 2012). Obwohl viele Qualifizierungsmaßnahmen für frühpädagogische Fachkräfte angeboten werden, sind nur wenige davon wissenschaftlich evaluiert. Ziel der Studie ist es durch eine Reihe von vier Metaanalysen die Wirkung von Weiterbildungen für frühpädagogische Fachkräfte auf Qualität in Kindertageseinrichtungen und kindliche Entwicklung zu untersuchen. Weiter wurde analysiert von welchen Bedingungen die Höhe des Weiterbildungseffektes abhängt. Im Rahmen der systematischen Literatursuche wurden 1144 Titel und Abstracts in elektronischen Datenbanken (ERIC; PsycINFO, ProQuest, FIS, WISO) und in renommierten Fachzeitschriften gefunden, die im Zeitraum von 1970-2011 veröffentlicht wurden. Eingeschlossen wurden (quasi-)experimentelle Interventionsstudien zur Weiterbildungswirkung auf externe Qualitätsratings und/oder summative Evaluationen mit Outcomedaten zur kindlichen Entwicklung im Bereich Sprache, Literacy und Sozialkompetenz. Davon erschienen 95 Studien als relevant und wurden auf Qualitätskriterien hin von zwei unabhängigen Gutachtern geprüft. Die Aggregierung der Weiterbildungswirkung sowie die Berechnung der Effektmoderatoren erfolgte durch randomisierte Mehrebenenmodelle. In der Metaanalyse zur Qualitätssteigerung waren 36 Interventionsstudien (42 Weiterbildungstreatments) mit externen Qualitätsratings (u.a. KES; CLASS, ELLCO) beteiligt, die zu einem mittlerer aggregierten Weiterbildungseffekt (g = 0.64) führten. Die Weiterbildungswirkung wurde signifikant moderiert durch methodische Bedingungen und Auswahl des Messinstruments. Weiter zeichnen sich Weiterbildungen mit einer Trainingsintensität von 45 bis 60 Stunden und reine Coachingansätze mit höheren Effektstärken aus. In der zweiten Metaanalyse konnten 48 Evaluationen mit 59 unterschiedlichen Weiterbildungen zu einem kleinen Weiterbildungseffekt (g = 0.38) auf Sprach- und Literacykompetenzen aggregiert werden. Als signifikante Moderatoren wurden neben methodischen Faktoren auch der Outcomeebene auch Trainingsintensität und Format gefunden. Besonders effektiv erwiesen sich Weiterbildungen mit einem Umfang von 15 bis 30 Stunden und einer Kombination aus Workshops und mehreren Kurseinheiten bei Sprach- und Literacykompetenzen. Die dritte Metanalyse mit 13 Evaluationen ergab einen kleinen aggregierten Weiterbildungseffekt (g = 0.45) auf Sozialkompetenzen und reduzierte Problemverhalten. Zusätzlich zu methodischen Bedingungen zeigt sich, dass höhere Weiterbildungseffekte für die Förderung von Sozialkompetenz zu erwarten sind als für die Reduktion von Problemverhalten. Für eine bedeutsame Wirkung sind weniger als 30 Stunden nötig. In einer vierten Metaanalyse wurde die simultane Weiterbildungswirkung auf Qualitätsratings und kindliche Entwicklungsmaße untersucht. Basierend auf neun Studien (10 Treamtents) konnte ein kleiner aggregierter Weiterbildungseffekt auf Qualitätsratings und ein geringfügiger Effekt auf kindliche Entwicklung nachgewiesen werden. Die Regressionsergebnisse machen deutlich, dass die Effekte auf Kindebene von der simultane Qualitätssteigerung durch Weiterbildungen abhängen (R²=0.53). Weiterführende narrative Analysen von besonders effektiven Weiterbildungsprogrammen machen deutlich, dass performanzorientierte Trainingsmethoden, individuelle Unterstützung der Teilnehmer und die Qualifikation des Trainers ebenfalls entscheidend für die Wirkung sind.Die Metaanalysen machen deutlich, dass durch gezielte Weiterbildung der frühpädagogischen Fachkräfte die Qualität in Kindertageseinrichtungen gesteigert werden kann und indirekte Effekte auf kindliche Entwicklung zu erwarten sind. (Orig.).

In the last decade, several efforts have been made to improve teaching and intervening practice in preschool classrooms by means of professional development programs (Mar-tinez-Beck & Zaslow, 2006; OECD, 2012). In-service professional development for pre-school teachers varies widely with respect to amount, duration, delivery format (traditional workshop and course vs. modern approaches such as coaching, mentoring, blended learning) and content (Oberhuemer, 2012; 2013). In general, it is assumed that in-service training enhances teachers´ knowledge, skills, and classroom practice. Improved teaching practice enhances student achievement. The connection seems intuitive, but empirical demonstration is difficult. Therefore, the purpose of this investigation was to conduct a research synthesis on the results of in-service professional development effects and to draw conclusions about the findings on potential effect modifiers into an integrated frame-work. Systematic review procedures and meta-analytic techniques were used to estimate the effectiveness of in-service programs. The review consists of experimental studies (RCT, CRT, quasi-experimental and non-experimental studies) that have evaluated the impact of professional development for teachers working in center-based care on quality ratings and child development. Electronic searches (ERIC, PsycINFO, ProQuest, FIS, and WISO) and hand searches in renowned journals from 1970 to 2011 produced 1,162 hits. Two inde-pendent coders extracted statistical information from the full texts and screened the litera-ture on the quality of the studies, in-service characteristics, and training transfer factors. A randomized multi-level procedure was used to aggregate the summary impact, where effect sizes were nested under treatment. Overall, 36 studies provided sufficient data to conduct a meta-analysis of in-service train-ing effects on quality ratings. The aggregation of findings revealed a medium summary effect g´ = 0.64 (SE = 0.071). Alongside methodological variables, the size of the effect was statistically moderated by training intensity and format. In-service programs with 45 to 60 hours of training and programs that used coaching as their sole format were the most effective. The impact of professional development programs on the language and literacy abilities of young children have been investigated in 48 studies. The summary effect was small g´ = 0.38 (SE = 0.045). Differential impacts and variations in the size of the effects were found for different outcome domains. Effect sizes were moderated by methodological as-pects, training design and intensity. Programs with 15 to 30 hours of training were the most effective in fostering language and literacy skills. Approaches that used mixed delivery types, in particular the combination of workshop and course had a larger impact. For the meta-analysis of in-service training effects on social skills and reduced problem behavior, 13 studies provided sufficient data. A small summary effect was found: g´ = 0.45 (SE = 0.074). However, differential effects emerged for different outcome domains. In particular, larger effects were found for the promotion of social skills than for the reduction of problem behavior. Alongside methodological variables, training programs with a duration of 9 months or short-term programs with less than 30 hours of training were significantly more effective. To investigate the link between in-service professional development, quality improvements and child development, 9 studies were found that provide data on both quality ratings and child development. In-service training effects on student achievement could be significantly predicted by quality improvements that occurred during training. More than 53 % of the variance in effects on child development was explained by the quality ratings which emerged as a result of in-service professional training. In addition to the meta-analyses, narrative reviews identified some features of highly ef-fective in-service programs with a calculated effect of g ) 0.80. Narrative analysis indicat-ed that a narrow content focus and educational principles matter. In particular, effective programs provided opportunities for active learning, guidance and feedback as well as performance-based assignments during training and between training sessions. Further, the trainers of highly effective programs were either the authors of the program or had a specific pretraining/license for the program. Several effect modifiers were tested. In the majority of cases, the effects were influenced by methodological issues (e.g., pretest differences, reliability of scales or informants) and training intensity in hours. However, the results for training delivery variables were incon-sistent. Clear conclusions on other characteristics cannot be made from the meta-regression, because the findings were either inconsistent or missing information in primary studies hindered the investigation. In summary, there are some beneficial programs and the synthesis of research findings suggests that most of the in-service training has positive effects on the quality of early education and child development. The results demonstrate that quality improvements are a key mechanism to enhance student achievement. Some conclusions for achieving highly professional development with regards to duration and intensity, educational principles and trainers can be drawn. Recommendations for further research include high quality research designs (e.g., equivalence of groups, reliable scales, etc.) and data collection on confounding and contextual variables. Nevertheless, some questions remain in analyzing in-service training effects. In particular, more research and primary studies are needed to investigate the heterogeneity of the results and the moderating role of implementation processes and program fidelity. (Orig.).