Transcript
Dr. Rudolf Beer Hochschulprofessor Kirchliche Pädagogische Hochschule Wien/Krems SE Quantitative Forschungsmethoden Dr. Rudolf Beer Internetplattform zum Seminar: Die Studienunterlagen dienen wissenschaftlichen Zwecken und sind ausschließlich für den privaten, persönlichen Gebrauch der StudentInnen bestimmt und explizit nur für die Verwendung im Rahmen dieser Veranstaltung hergestellt. Die Studienunterlagen sind für den Schul-, Studien- und Unterrichtsgebrauch bestimmt und daher von der freien Werknutzung zum eigenen Schulgebrauch ausgenommen. Das Zugänglichmachen, Vervielfältigen oder die Weitergabe an Dritte als Ganzes oder auszugsweise ist unabhängig von der Form, wenn nichts anderes vereinbart, untersagt. Prüfungsmodalitäten prüfungsimmanent: Anwesenheit, Mitarbeit (GA, ), Übungen (Testungen im Feld), Abschlussklausur Testtheoretische Grundlagen Testtheoretische Grundlagen / Gütekriterien empirisch auf Erfahrung beruhend qualitative Forschung quantitative Forschung Qualitativ oder quantitativ? Quantitativer Ansatz numerisch beschrieben; statistische Auswertung von Messwerten Ordinal- und intervallskalierte Daten Qualitativer Ansatz Interpretation von verbalem Material Nominaldaten (Häufigkeitsdaten) Quantitative Sozialforschung: Quantitative empirische Forschung beabsichtigt, soziale und psychische Phänomene genau zu definieren, sie möglichst objektiv zu»messen«und anhand dieses Datenmaterials Hypothesen zu überprüfen. (Hannes Mayr) Qualitative Sozialforschung: Qualitatives Forschen ist der Versuch herauszufinden, wie Menschen einen Sachverhalt sehen, welche individuelle Bedeutung er für sie hat und welche Handlungsmotive in diesem Zusammenhang auftreten. Daraus werden Theorien konstruiert und Folgerungen für die Praxis gezogen. (Theo Hug) Qualitative Forschung: Empirische Forschung, die mit besonderen Datenerhebungsverfahren in erster Linie qualitative Daten erzeugt und interpretativ verarbeitet, um dadurch neue Effekte zu entdecken (Exploration) und (seltener) auch Hypothesen zu überprüfen (Explanation). Inhaltlich ist es ein besonderes Anliegen der qualitativen Forschung, soziale und psychologische Phänomene aus der Sicht der Akteure zu rekonstruieren (Bortz u. Döring 2002, S. 687). Qualitative Daten: 1. Nominalskalierte quantitative Daten, 2. nichtnummerische Daten, verbales, anschauliches Datenmaterial (Bortz u. Döring 2002, S. 687). Variable sind Ausschnitte aus der Beobachtungsrealität. Qualitative Variable sind diskontinuierlich, es werden Ereignisse, Personen gezählt. Qualitative Variable: diskontinuierlich z.b.: Lieblingsfarbe blau grün gelb rot es wird gezählt: z.b.: Quantitative Forschung: Empirische Forschung, die mit besonderen Datenerhebungsverfahren in erster Linie quantitative Daten erzeugt und statistisch verarbeitet, um dadurch neue Effekte zu entdecken (Exploration), Populationen zu beschreiben und Hypothesen zu prüfen (Explanation) (Bortz u. Döring 2002, S. 687). Quantitative Daten: Variable sind Ausschnitte aus der Beobachtungsrealität. Hier wird gemessen. Quantitative Variable sind kontinuierlich. Jeder Person wird ein Wert zugeordnet. Quantitative Variable: kontinuierlich z.b.: Kompetenz 45 es wird gemessen z.b.: Pb26: 47 Pkt. Quantitative Methoden der Datenerhebung Zählen Messen (Be)Urteilen Testen Zählen Klassifikationsmerkmale natürlich dichotom/polytom künstlich dichotom/polytom Kategorien 1. Genauigkeits-Kriterium 2. Exklusivitäts-Kriterium 3. Exhaustivitäts-Kriterium Zählen Klassifikationsmerkmale natürlich dichotom/polytom künstlich dichotom/polytom Kategorien Genauigkeits-Kriterium exakt definierte, operationalisierte Indikatoren Exklusivitäts-Kriterium ein Objekt darf nur zu einer Kategorie gehören Exhaustivitäts-Kriterium jedes Objekt muss einer Kategorie zuzuordnen sein Messen quantitative Variable... individuelle Merkmalsausprägungen werden mit einem Messinstrument erhoben und jedem Objekt bzw. Person zugeordnet (Be)Urteilen... Eigenschaften die sich einer direkten physikalischen Messung entziehen können mit Hilfe der menschlichen Urteilsfähigkeit und -möglichkeit erfasst werden Test 1. Ein Verfahren zur Untersuchung eines Persönlichkeitsmerkmals. 2. Der Vorgang der Durchführung der Untersuchung. 3. Die Gesamtheit der zur Durchführung notwendigen Requisiten. 4. Jede Untersuchung sofern sie Stichprobencharakter hat. 5. Gewisse mathematische-statistische Prüfverfahren (z.b. Chi-Quadrat-Test) (Lienert 1989, S. 7). Testen Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung (Bortz u. Döring 2002, S. 189). Begriffe Leistungstests Speed-Tests Power-Tests Niveautests Lernzielorientierte Tests Normorientierte Tests Diagnostischen Tests Persönlichkeitstests Intelligenztests informelle Tests standardisierte Tests Hauptgütekriterien eines Tests Objektivität Reliabilität (Zuverlässigkeit) Validität (Gültigkeit) Objektivität Unter Objektivität eines Tests verstehen wir den Grad, indem die Ergebnisse eines Tests unabhängig vom Untersucher sind (Lienert 1989, S. 13). Durchführungsobjektivität Auswertungsobjektivität Interpretationsobjektivität Reliabilität Unter der Reliabilität eines Tests versteht man den Grad der Genauigkeit, mit dem er ein bestimmtes Persönlichkeits- oder Verhaltensmerkmal misst (Lienert 1989, S. 14). Validität Die Validität des Tests gibt den Grad der Genauigkeit an, mit dem dieser Test dasjenige Persönlichkeitsmerkmal oder diejenigen Verhaltensweisen, das (die) er messen soll oder zu messen vorgibt, tatsächlich misst (Lienert 1989, S. 16). inhaltliche Validität Konstruktvalidität kriteriumsbezogenen Validität Nebengütekriterien eines Tests Normierung Vergleichbarkeit Ökonomie Nützlichkeit Für Nebengütekriterien gibt es keine zahlenmäßigen Kennwerte. Normierung versteht man, daß über einen Test Angaben vorliegen sollen, die für die Einordnung des individuellen Testergebnisses als Bezugssystem dienen können (Lienert 1989, S. 18). Einordnung des Pn in die Verteilung (Position) in Bezug auf die Grundgesamtheit, soziale Gruppe, individuelle Aussagen (diagnostische Brauchbarkeit) Vergleichbarkeit Ein Test ist dann vergleichbar, wenn: 1. ein oder mehrere Parallelformen vorhanden sind, 2. validitätsähnliche Tests verfügbar sind (Lienert 1989, S. 18). intraindividuelle Reliabilitätskontrolle interindividuelle Validitätskontrolle Ökonomie Ein Test ist dann ökonomisch, wenn er: 1. eine kurze Durchführungszeit beansprucht, 2. wenig Material verbraucht, 3. einfach zu handhaben, 4. als Gruppentest durchführbar, 5. schnell und bequem auswertbar ist (Lienert 1989, S. 19). Nützlichkeit Ein Test ist dann nützlich, wenn er ein Persönlichkeitsmerkmal mißt, für dessen Untersuchung ein praktisches Bedürfnis besteht (Lienert 1989, S. 19). Wechselbeziehungen Objektivität Reliabilität Validität Validität Reliabilität Objektivität grundlegende/weiterführende Literatur Bortz, J. u. Döring, N.: Forschungsmethoden und Evaluation. Berlin Heidelberg, Lienert, G.: Testaufbau und Testanalyse. München Weinheim, Brosious, F.: SPSS 11. Bonn, Ponocny-Seliger, E. u. Ponocny,I.: Statistik for you. Wien, 2001 Eder, A.: Statistik für Sozialwissenschaftler. Wien, 2003 Atteslander, P.: Methoden der empirischen Sozialforschung. Berlin New York, Deskriptive Statistik Deskriptive Statistik: Lageparameter / Skalenniveau / Verteilungsformen / Darstellung empirischer Daten Erfassung / Matrix / Tabellen Strichliste Fragebogen Protokoll Listen Beschreiben / Zählen / Darstellen Häufigkeitstabellen Diagramme Prozenttabellen Listen Häufigkeit absolute Häufigkeit relative Häufigkeit prozentuale Häufigkeit kumulative Häufigkeit Häufigkeitstabelle Merkmalsausprägung (x i ) absolute Häufigkeit (f) relative Häufigkeit (f i ) prozentuale Häufigkeit (f i% ) kumulative prozentuale Häufigkeit (f i%kum ) 1 3 0, , , , , , , , , , N = Häufigkeitstabelle Häufigkeitstabelle Balkendiagramm Kreisdiagramm Histogramm Skalenniveau Rationalskala (Verhältnisskala) Intervallskala Ordinalskala (Rangskala) Nominalskala... polytom/dichotom Nominalskala Geschlecht, Familienstand, Farbe, ja/nein- Entscheidungen, Nationalität, Sprache, Blutgruppe gleich oder ungleich, beschreibend Ordinalskala (Rangskala) Ranginformation... Schulnoten, Rangplätze, Ausbildungsabschlüsse, Dienstgrade, Windstärken, Beliebtheit, Befragungsergebnisse (?) gleich oder ungleich, beschreibend + größer/kleiner Relationen Intervallskala Info über Messwertdifferenz... Temperaturunterschiede, Testscores, Intelligenzscores (?), gleich oder ungleich, beschreibend + größer/kleiner Relationen + Gleichheit von Differenzen natürlicher Nullpunkt Rationalskala... Länge, Gewicht, physikalische Größen gleich oder ungleich, beschreibend + größer/kleiner Relationen + Gleichheit von Differenzen + Gleichheit von Verhältnissen Anwendung von Rechenverfahren Rationalskala Intervallskala Ordinalskala Nominalskala arithmetisches Mittel, t-test, Varianzanalyse, ev. parametrische Verfahren ev. nonparametrische Verfahren, U-Test, Rangplätze, Median, Modalwert Deskriptive Statistik Deskriptive Statistik: Lageparameter / Darstellung empirischer Daten Beschreiben: Lageparameter (Maße der zentralen Tendenz) Mittelwerte o o o Modalwert Median arithmetisches Mittel Streuungsmaße o o o o Spannweite mittlere Variation Standardabweichung Varianz Modalwert: Der in einer Verteilung am häufigsten vertretene Wert (Bortz u. Döring 2002, S. 684). z.b.: Testscores (max. 30 Pkt.) 8, 9, 10, 10, 10, 15, 16, 16, 17, 18, 28, 29, 29, 30, Median: Der Median teilt eine Verteilung mindestens ordinalskalierter Meßwerte in Hälften (Bortz u. Döring 2002, S. 683). Der Median ist die mittlere Maßzahl, in der Größe der Maßzahlen geordneten Fälle (Resch 2001, S. 20). z.b.: Testscores (max. 30 Pkt.) 8, 9, 10, 10, 10, 15, 16, 16, 17, 18, 28, 29, 29, 30, 30 16 Arithmetisches Mittel: Der Mittelwert (genauer: das arithmetische Mittel) als Summe aller Meßwerte dividiert durch die Anzahl der eingehenden Werte (Bortz u. Döring 2002, S. 684). z.b.: Testscores (max. 30 Pkt.) 8, 9, 10, 10, 10, 15, 16, 16, 17, 18, 18, 19, 29, 30, : 15 = 17,00 Beispiel: In folgender Urliste befinden sich die Ergebnisse (Punktwerte) einer schriftlichen Leistungskontrolle von 81 SchülerInnen. Stellen Sie die Häufigkeitsverteilung in einer übersichtlichen Tabelle dar und erstellen Sie ein Histogramm. Spannweite (range, Variationsbreite): (x max x min ) Differenz zwischen der größten und kleinsten Maßzahl (Resch 2001, S. 36). z.b.: Testscores (max. 30 Pkt.) 8, 9, 10, 10, 10, 15, 16, 16, 17, 18, 28, 29, 29, 30, 30 R = 30-8 = 22 Streuungsmaße Mittlere Variation: Summe aller Abweichungen vom Mittelwert, dividiert durch n (Eder 2003, S. 30). z.b.: Testscores (max. 30 Pkt.) 8, 9, 10, 10, 10, 15, 16, 16, 17, 18, 28, 29, 29, 30, 30 mv = ( ):15 = 104:15 = 6,9333 Standardabweichung (standard deviation): die Wurzel aus dem Durchschnitt der quadrierten Abweichungen der Maßzahlen von ihrem Mittelwert (Resch 2001, S. 36). z.b.: Testscores (max. 30 Pkt.) 8, 9, 10, 10, 10, 15, 16, 16, 17, 18, 28, 29, 29, 30, 30 s = ( ):15 = s = ( ):15 = = 1046: 15 = 69,73 = 8,35 Varianz (standard deviation): die Summe der quadrierten Abweichungen aller Einzelwerte von ihren Mittelwert, dividiert durch deren Anzahl (Eder 2003, S. 31). z.b.: Testscores (max. 30 Pkt.) 8, 9, 10, 10, 10, 15, 16, 16, 17, 18, 28, 29, 29, 30, 30 s² = ( ):15 = s² = ( ):15 = 1046 : 15 = 69,73 zwischen Frauen und Männern Mittelwerte vergleichen Variable berechnen Body Mass Index BMI = kg : (m²) Body Mass Index Regression und Korrelation Regression und Korrelation: Abhängigkeit/Unabhängigkeit von Variablen, lineare Regression, Korrelation, Produkt-Moment-Korrelation Regression: Vorhersage von Merkmalsausprägungen einer oder mehrerer Kriteriumsvariablen auf der Basis einer oder mehrerer Prädiktorvariablen (Bortz u. Döring 2002, S. 688). Prädiktor Kriterium z.b.: Körpergröße Körpermasse Geschlecht Einstellungen/Verhalten Zusammenhang zwischen zwei Variablen: 1. funktionaler Zusammenhang von Menge und Preis y = kx + d Funktionsgleichung: y = 3,5. x (hier linearer Zusammenhang) Zusammenhang zwischen zwei Variablen: 2. stochastischer Zusammenhang von Größe und Masse Höhe des Zusammenhangs: Korrelationskoeffizient Regressionsgleichung: y = b. x + a Modell einer lineare Regression Regressionsgerade Korrelation: Allgemeine Beziehung zur Beschreibung von Zusammenhängen von Variablen (Bortz u. Döring 2002, S. 681). Prädiktor Kriterium Prädiktor Kriterium unabhängige Variable in der Korrelationsanalyse, Faktor abhängige Variable in der Korrelationsanalyse, vorhergesagtes Merkmal Korrelation: Korrelationskoeffizient: Quantitatives Maß für Enge und Richtung des Zusammenhangs (Bortz u. Döring 2002, S. 682). 1 r +1 Der Korrelationskoeffizient gibt Enge des Zusammenhangs»Schlankheit«des Punktschwarmes (Ponocny-Seliger u. Ponocny 2001, S. 21) an. Korrelationskoeffizient: r 0 positiver Zusammenhang ( je mehr desto mehr ) r = 0 kein Zusammenhang ( kein ) r 0 negativer Zusammenhang ( je mehr desto weniger ) Produkt-Moment- Korrelation r = 0,42 Korrelationskoeffizient Produkt-Moment-Korrelation biseriale Korrelation punktbiseriale Korrelation Vierfelderkorrelation Korrelationskoeffizient Produkt-Moment-Korrelation zwei quantitative Variable Vierfelderkorrelation zwei qualitative Variable Korrelationskoeffizient biseriale Korrelation quantitative Variable & künstlich dichotomisierte Variable punktbiseriale Korrelation quantitative Variable & natürlich dichotomisierte Variable Bestimmtheitsmaß (gültig für Produkt-Momet-Korrelation) Produkt-Moment-Korrelation r = 0,42 B = r². 100 B = 0,42². 100 B = 0, B = 17,64 % Regression Regressionsgleichung: y = b. x + a Modell einer lineare Regression Regressionsgerade b =? a =? lineare Regression Regressionsgleichung: y = b. x + a b =? a =? y = 0,556. x 31,407 Masse = 0,556. Größe 31,407 Regression Korrelation Korrelationskoeffizienten Bestimmtheitsmaß Phasen der Testentwicklung Phasen der Testentwicklung Fragestellung / Theoretischer Bezugsrahmen, Literaturrecherche, Itemerstellung, Itemselektion, Vortestung(en), Haupttest Fragestellung theoretischer Bezugsrahmen Literaturrecherche Testentwicklung Hypothesen Hypothese Annahme über einen realen (empirisch erfassbaren) Sachverhalt in Form eines Konditionalsatzes ( Wenn-Dann Satz,, Je- Desto -Satz) (Bortz u. Döring 2002, S. 679). allgemein widerspruchsfrei empirische überprüfbar neu Itemerstellung / Itemselektion Festlegungen Validitätsbereich Geltungsbereich Testkonzept (rational bzw. empirisch) Merkmalsanalyse Aufgabenkonstruktion Aufgabenkonzept sprachlicher Aufbau Testaufbau Vorrevision Vortestung Aufgabenanalyse Vortestung(en) Auswahl von Analysestichproben Einzel bzw. Gruppendurchführung Darbietungstechniken Gesamtdarbietung vollständige Gesamtdarbietung unvollständige Gesamtdarbietung Einzeldarbietung unvollständige Gesamtdarbietung mit Zufallsreihung Aufgabenanalyse 1. Revision des Tests in Hinblick auf eine höhere Reliabilität uns Validität durch Ausschaltung und Verbesserung nicht genügend geeigneter Aufgaben. 2. Überprüfung der Testpunkteverteilung hinsichtlich einer höheren Reliabilität und einer besseren Normierbarkeit (Lienert 1989, S. 70). Rohwerteverteilung Schwierigkeitsanalyse Trennschärfeanalyse Validitätskoeffizient Homogenität Dimensionalitätsprüfung Häufigkeitsverteilung der Testwerte: Beispiel: Rohwerteverteilung Normalverteilte Testwerte sind erstrebenswert, weil viele ( ) Verfahren normalverteilte Werte voraussetzen (Bortz u. Döhring 2002, S. 217). Schwierigkeitsindex: Schwierigkeitsanalyse Der Schwierigkeitsindex einer Aufgabe ist gleich dem prozentualen Anteil P der auf diese Aufgaben entfallenden richtigen Antworten in einer Analysestichprobe (Lienert u. Raatz 1994, S. 73) Beispiel: P = 85 leichte Aufgabe P = 30 schwierige Aufgabe Schwierigkeitsanalyse Bestimmung des Schwierigkeitsindex: Beispiel 1: N = 120 ; NR = 102 P = : 120 = 85 leichte Aufgabe Beispiel 2: N = 120 ; NR = 36 P = : 120 = 30 schwierige Aufgabe Schwierigkeitsanalyse Bestimmung des zufallskorrigierten Schwierigkeitsindex: Beispiel 3: N = 120 ; NR = 102 ; NF = 18 ; m = 4 P = 100 (102 (18 : 3 )) : 120 = = 100. (102 6 ) : 120 = = : 120 = 80 leichte Aufgabe Schwierigkeitsanalyse Bestimmung des plausibilitätskorrigierten Schwierigkeitsindex: Beispiel 4: N = 120 ; A = 102 (NR) ; B = 4 ; C = 12 (NF(max)); D = 2 P = 100 (102 12) : 120 = = : 120 = 75 leichte Aufgabe Schwierigkeitsanalyse Bestimmung des Schwierigkeitsindex mit Inangriffnahme-Korrektur: Beispiel 5: NR = 102 ; NB = 110 P = : 110 = 92,7 Schwierigkeitsindex wird höher, d.h. das Item ist leichter als zunächst angenommen Schwierigkeitsanalyse normbezogene Teste lernzielbezogene Tests Die Aufgabenschwierigkeit ist also nicht nur das Merkmal einer bestimmten Aufgabe, sondern auch Merkmal einer bestimmten Stichprobe (Mietzel 1993, S. 322). Trennschärfeanalyse Trennschärfekoeffizienet: Die Trennschärfe bzw. der Trennschärfekoeffizient gibt an, wie gut ein einzelnes Item das Gesamtergebnis eines Tests repräsentiert (Bortz u. Döring 2002, S. 218). Beispiel: r 0,70 Aufgabe trennt scharf zwischen guten und schwachen Merkmalsträgern r 0,00 Aufgabe wird von guten und schwachen Merkmalsträgern gleich häufig richtig gelöst Trennschärfeanalyse Bestimmung des Trennschärfekoeffizieneten bei einem quantitativen Analysekriterium bei vollständiger Aufgabendarbietung (punktbiserale Korrelation) : Einfaches Verfahren zur Errechnung von Trennschärfe-Indizes : Rangreihe aller Pers. im Gesamttest Obergruppe Ro ( 25 %) Untergruppe Ru (25%) Zählverfahren (nach Ro und Ru) Beispiel: (N = 60) Trennschärfeanalyse Validitätskoeffizient Der (selten verwendete) Validitätskoeffizient einer Aufgabe ist definiert durch den ( ) Korrelationskoeffizienten zwischen der Aufgabenbeantwortung einerseits und dem Grad der Merkmalsausprägung gemessen an einem Außenkriterium - andererseits (Lienert 1989, S. 70). kriteriumsbezogene Validität Übereinstimmungsvalidität (Vergleich mit einem anderen Testverfahren) Homogenität Die Homogenität ( ) gibt an, wie hoch die einzelnen Items eines Tests im Durchschnitt miteinander korrelieren (Bortz u. Döring 2002, S. 219). Einzelne Items sind Operationalisierungen eines Konstrukts. In eindimensionalen Tests werden hohe Homogenitäten angestrebt. Anmerkung: SPSS / Cronbach s Alpha Dimensionalität Die Dimensionalität eines Tests gibt an, ob er nur ein Merkmal bzw. Konstrukt erfasst (eindimensionaler Test), oder ob mit den Testitems mehrere Konstrukte operationalisiert werden (mehrdimensionaler Test) (Bortz u. Döring 2002, S. 221). Beispiel: SPSS / Screeplot Faktorenanalyse Itemselektion Leistungstests /Niveautests max. Trennschärfe Schwierigkeitsindices zw. P=20 und P=80 alle Aufgabengruppen (Faktoren) anteilsmäßig Eignungstests an validem Außenkriterium analysieren zur Selektion: geringe Interkorrelationen Hohe Trennschärfe & Schwierigkeitsindices (5 P 95) Linearität der Häufigkeitsregression erstrebenswert WANN? WARUM? zu wenige Items Itemrevision inhaltlich wichtige Items einfache Verbesserung möglich Differenzen Innen- u. Außenkriterium WIE? Neuformulierung teilw.eise Änderung größere Veränderungen nochmalige Vortestung Aufgabenreihung! Handanweisung! Haupttestung Masterplan WER? WO? WEN? WANN? WOMIT? Ansuchen um Genehmigung einer empirischen Erhebung Testinstrument Einverständniserklärung Auswertungsmethoden Dokumentation Forschungsidee Literaturstudium Fragestellung Haupttestung Hypothese Itenselektion/-revision Merkmalsanalyse Aufgabenanalyse Forschungsdesign Aufgabenkonstruktion Vortestung Vorrevision Normalverteilung Häufigkeitsverteilungen W
