Wie wählt man einen guten, aber praktikablen Fragebogen?

Die BYTE Challenge ist eine kostenlose Online-Lernplattform für Schüler:innen ab Klasse 5 mit über 100 MINT-Kursen in verschiedenen Schwierigkeitsstufen und drei Sprachen (deutsch, englisch, ukrainisch). Abgedeckt werden Themen wie z. B. Social Media, Datenschutz, Digitale Cookies, Algorithmen & Datenstrukturen, Programmierung mit Scratch, künstliche Intelligenz [1].

Die BYTE Challenge ist ein Projekt der Gesellschaft für Informatik e. V. und wurde im Mai 2020 von Carolin Neumann und Stefan Hildebrand gegründet [2]. Bereits 2021 konnte die BYTE Challenge über 1000 Teilnahmen verzeichnen. Von über 800 Teilnahmen aus über 80 Schulen lagen genug Daten vor, um eine Evaluation der BYTE Challenge durchzuführen. Durch unsere Auswertung konnten wir anhand der erreichten Punktzahlen belegen, dass unser Lernangebot für Schüler:innen von Gymnasien und Oberschulen gleichermaßen geeignet ist und unterschiedliche Vorkenntnisse in Scratch ausbalanciert werden können [3].

Zwar verfolgten wir hier bereits einen starken, quantitativen Ansatz, aber waren in der Auswertung des Feedbacks zu einzelnen Kursen auf deskriptive Statistiken beschränkt [3]. Der Grund hierfür war die Verwendung von ordinalskalierten Antwortoptionen im Feedback-Fragebogen (siehe Abb. 1). Ordinalskalierte Daten lassen sich der Größe oder Wertigkeit nach ordnen, aber verfügen nicht über gleichmäßige Abstände wie intervallskalierte Daten. Dies hat zur Folge, dass einige Testverfahren (z. B. t‑Tests oder Varianzanalysen) nicht zur Datenauswertung eingesetzt werden können, da hierfür die abhängige Variable ein Intervallskalenniveau aufweisen muss [4].

Um künftig aus einem breiteren Spektrum an Auswertungsmethoden schöpfen zu können, entschieden wir uns für die Überarbeitung des Feedback-Fragebogens. Im neuen Feedback-Fragebogen sollte überall ein Intervallskalenniveau vorliegen. Dies hätte man z. B. dadurch erzielen können, indem man alle Fragen auf einer Skala von 0 bis 100 % beantworten ließe. Für manche Zwecke mag das angemessen sein, doch in unserem Fall hielten wir es für nicht geeignet. Vermutlich fällt es Schüler:innen schwer, ihr Interesse an einem Thema oder ihre Kursbewertung auf einer Skala von 0 bis 100 % einzuschätzen. Statt einer erhofften stärkeren Differenzierbarkeit würden wir aufgrund von kognitiver Überforderung wahrscheinlich nur wilde Schätzungen mit fraglicher Aussagekraft erhalten. Aus diesem Grund bevorzugen wir ein Antwortformat mit weniger Ausprägungen.

Empfohlen wird eine fünf- bis siebenstufige Antwortskala zur Maximierung der Reliabilität der Messwerte [5]. Bei fünf oder mehr Abstufungen kann die Skala annähernd als intervallskaliert betrachtet werden, auch wenn sie strenggenommen ordinalskaliert ist [6]. Dies sollte bei der Auswahl von Fragebogen-Items berücksichtigt werden. Idealerweise sollten bereits erprobte, validierte, intervallskalierte Fragebögen genutzt werden. Sofern man ein Produkt bewertet, empfehlen sich hier Fragebögen wie beispielsweise der meCUE [7], AttrakDiff [8] oder UEQ‑S [9]. Was aber, wenn man kein Produkt bewertet, sondern eine Dienstleistung? Dann kommt z. B. der Net Promoter Score infrage, der die Weiterempfehlungswahrscheinlichkeit misst [10]. Auch zur Evaluation von Lernangeboten existieren Fragebögen wie z. B. der FLIPPY [11] oder das TEI [12].

Obwohl alle genannten Fragebögen eine gute Qualität aufweisen, fanden wir sie nicht passend für die Evaluation der BYTE Challenge, da wir unseren Schwerpunkt nicht auf die User Experience [7‐9] legen und eine Zielgruppe haben, die zu jung ist, um z. B. nach der Anwendbarkeit im beruflichen Alltag [12] gefragt zu werden. Zudem schätzen wir den FLIPPY [11] oder das TEI [12] als zu lang ein für unsere Kurse, die Schüler:innen kostenlos und unentgeltlich in ihrer Freizeit absolvieren. Hier vermuteten wir eine zu hohe Abbruchrate, die zu sehr lückenhaften und damit schwer verwertbaren Datensätzen führen könnte. Außerdem wollen wir gerne zukünftige Evaluationsergebnisse mit der Evaluation vom Jahr 2021 [3] vergleichen können. Daher war es uns wichtig, die gleichen Bereiche (Interesse, Schwierigkeit, Inhalt, Gesamteindruck) [3] anzusprechen.

Aus diesem Grund entschieden wir uns dafür, eigene Fragebogen-Items zu entwickeln. Schnell befanden wir uns in einem Zwiespalt zwischen theoretischen Ansprüchen und gewünschter Praktikabilität. Uns war es wichtig, am Intervallskalenniveau und der Kürze unseres bisherigen Fragebogens festzuhalten. Daher entschieden wir uns als Praxislösung dafür, auf die Antwortskalen von Rohrmann [13] zurückzugreifen (siehe Tab. 1 und Abb. 1). Hierbei handelt es sich um einfache, leicht verständliche Antwortoptionen in deutscher Sprache. Der große Vorteil besteht darin, dass die Antwortoptionen trotz ihrer verbalen statt numerischen Darstellung und auch bei der Verwendung als einzelne Items annähernd ein Intervallskalenniveau aufweisen [13]. Dank des Intervallskalenniveaus können wir also demnächst auch das Feedback mit inferenzstatistischen Methoden (z. B. t‑Tests oder Varianzanalysen) auswerten [4].

Ferner sollten keine unipolaren (z. B. 1, 2, 3, 4, 5) und bipolaren Skalen (z. B. −2, −1, 0, +1, +2) miteinander vermischt werden, da dies die Interpretation weniger eindeutig macht [6]. Am einfachsten ist es für Befragte, wenn allen Fragen die gleiche Antwortskala zugrunde liegt [13]. Daher formulierten wir unsere Feedback-Fragen so, dass wir immer Rohrmanns Skala zur Messung von Intensität [13] heranziehen konnten.

Die Frage nach der aktuellen Lebenssituation behielten wir dennoch bei, um unsere Stichprobe beschreiben und zu Evaluationszwecken filtern zu können. Zudem haben wir eine Frage nach der Geschlechtszugehörigkeit ergänzt, um in Zukunft mögliche Geschlechtsunterschiede näher beleuchten zu können.

Wir empfinden das als eine gelungene und trotzdem praxisnahe Verbesserung unseres Feedback-Fragebogens und möchten unsere Erfahrungen und Überlegungen mit anderen teilen. Aus diesem Grund präsentieren wir in dieser Ausgabe unseren neuen Feedback-Fragebogen (siehe Abb. 1).