1 Die Beurteilung empirischer Studien 9

1.1 Funktionen der Forschung 20
1.2 Forschung und Theorie 25
1.3 Forschung und Praxis 32
1.4 Empiriekritik 33
1.5 Verständnisprobleme 34
1.6 Forschungsberichte 37

2 Die Problemdarstellung 43

2.1 Wissenschaftliches Arbeiten 48
2.2 Stand des Wissens 49
2.2.1 Narratives Review 49
2.2.2 Meta-Analyse 52
2.3 Replikationen 61
2.4 Theorien 67
2.5 Problemformulierungen, Operationalisierungen 68
2.5.1 Operationalisierung 69
2.5.2 Nicht-reaktive Messung 73
2.6 Forschungsethik, Forschungsskandale 74

3 Die Methodik 91

3.1 Hypothesen, Falsifizierung 91
3.2 Nullhypothesen, Alternativhypothesen 93
3.3 Feldstudie, Laborforschungen, retrospektive Studien 99
3.4 Störfaktoren, Ausreißer 105
3.5 Beobachtungsverfahren, Inhaltsanalysen 112
3.6 Nullhypothesen, α-Fehler, β-Fehler 119
3.7 Stichproben 125
3.7.1 Zufallsstichprobe 127
3.7.2 Nicht-zufällige Stichprobe 130
3.7.3 Weitere Stichprobenprobleme 133
3.7.4 Sonderfall Klumpenstichprobe 136
3.8 Extremgruppen, Regressionseffekte, Veränderungsmessungen 141
3.9 Gültigkeit von Experimenten 150
3.9.1 Internale Validität 150
3.9.2 Externale Validität 155
3.10 Versuchspläne 157
3.10.1 Schwache Designs 159
3.10.1.1 Einzelfallstudie 160
3.10.1.2 Zeitreihen-„Experiment“ 161
3.10.1.3 Intensive Versuchspläne der Verhaltensmodifikation 162
3.10.1.4 Schwacher Ein-Gruppen-Plan ohne Vortest, mit Behandlung, mit Nachtest 164
3.10.1.5 Schwacher Ein-Gruppen-Plan, mit Vortest, mit Behandlung, mit Nachtest 165
3.10.1.6 Schwacher Zwei-Gruppen-Plan, ohne Vortest, mit Behandlung, mit Nachtest 166
3.10.1.7 Schwacher Zwei-Gruppen-Plan, mit Vortest, mit Behandlung, mit Nachtest 167
3.10.2 Starkes Designs (mit Randomisierung) 169
3.10.2.1 Starker Zwei-Gruppen-Plan mit Vortest, mit Behandlung, mit Nachtest 169
3.10.2.2 Starker Drei-Gruppen-Plan mit Vortest, mit Behandlung, mit Nachtest 171
3.10.2.3 Starker Zweigruppenplan, mit Behandlung, ohne Vortest 172
3.10.2.4 Starker Drei-Gruppen-Plan, ohne Vortest, mit Behandlung, mit Nachtests 173
3.10.2.5 Starker Solomon-Vier-Gruppen-Plan 174
3.11 Entwicklungsstudien 175
3.11.1 Querschnitt 175
3.11.2 Längsschnitt 176
3.11.3 Inhaltliche und methodische Probleme 178
3.12 Variablen, Indikatoren 181
3.13 Kausale Beziehungen 184
3.13.1 Korrelation 185
3.13.2 Multiple Korrelation, Regressionsanalyse und kanonische Korrelationsanalyse 187
3.13.3 Kovariation und Ursache 193
3.14 Interviews, Fragebogen 202
3.15 Tests, Skalen 205
3.15.1 Objektivität 211
3.15.2 Reliabilität 212
3.15.2.1 Testwiederholungsreliabilität, Paralleltestreliabilität 213
3.15.2.2 Testhalbierungsreliabilität, Konsistenzanalyse 214
3.15.3 Validität 218
3.15.3.1 Inhaltsvalidität, Augenscheinvalidität, curriculare Validität 220
3.15.3.2 Übereinstimmungsvalidität 221
3.15.3.3 Kriteriumsvalidität 221
3.15.3.4 Differentielle Validität 221
3.15.3.5 Konstruktvalidität 221
3.15.4 Normierung 223
3.15.5 Ökonomie 223
3.16 Hilfsdaten, Vergleichsdaten 224
3.17 Voruntersuchungen 230

4 Die Ergebnisse 231

4.1 Fehlende Daten 233
4.2 Weitere Aspekte 241
4.3 Hilfsmittel Statistik 244
4.4 Skalentypen 245
4.4.1 Nominalskala 246
4.4.2 Ordinalskala 247
4.4.3 Intervallskala 248
4.4.4 Verhältnisskala 249
4.5 Spezifische Verfahren 249
4.5.1 Parametrische vs. nicht-parametrische Verfahren 251
4.5.2 Varianzanalyse 254
4.5.3 Kovarianzanalyse 259
4.5.4 Dimensionsanalyse 263
4.6 Signifikanz, Relevanz, Power, α-Fehler-Kumulierung 276
4.6.1 Signifikanzniveau 277
4.6.2 Effektstärke 281
4.6.3 Power-Analyse 291
4.6.4 α-Fehler-Kumulierung 296
4.7 Tabellen, Abbildungen 304

5 Die Diskussion 309

6 Das Literaturverzeichnis 311

7 Eine erboste Nachbemerkung 317

Literaturverzeichnis 321

Anhänge 365

Anhang 1: Entscheidungsfelder im Forschungsprozess 365
Anhang 2: Kurze Checkliste zur Beurteilung empirischer Untersuchungen 366
Anhang 3: Übersicht über die verschiedenen Skalentypen 369
Anhang 4: Pädagogisch-psychologische Fachzeitschriften 370
Anhang 5: Kontroversen in der Wissenschaft 373
Stichwortregister 377