Studie: Die MINTFIT Wirksamkeitsanalyse

Eine Studie rund um die Wirksamkeit des MINTFIT-Angebots aus Onlinetests und -kursen sowie die Studieneingangsphase

Zusammenfassung der Studie

Ziel der Studie ist es, die Wirksamkeit der MINTFIT-Angebote der Seite www.mintfit.hamburg und der angeschlossenen Lernplattformen sowie den Einfluss weiterer Faktoren auf den Studienerfolg von Studienanfänger:innen des MINT-Bereichs in den ersten Semestern zu quantifizieren. Die Teilnahme an der Studie ist freiwillig. Die Studienteilnehmenden werden vom MINTFIT-Team über den Verlauf der Studiendauer von zwei Jahren unter anderem zu ihrem Bildungshintergrund, der technischen und räumlichen Ausstattung, der Selbsteinschätzung, dem Studienerfolg sowie dem zeitlichen Aufwand ihres Studiums befragt und ihr Studienverlauf wird auf diese Weise dokumentiert.

Leitfragen, Hypothesen und Ziele der Studie

Leitfragen:

  • Wie hoch ist die Wirksamkeit des MINTFIT-Angebots aus Onlinetests und -kursen in den Bereichen Mathematik, Physik, Chemie und Informatik auf den Studienerfolg der MINTFIT-Nutzer:innen?
  • Welche anderen Ressourcen werden zur Studienvorbereitung genutzt und wie hoch ist der Einfluss dieser und weiterer Faktoren wie z.B. der Bildungshintergrund oder die technische/räumliche Ausstattung auf den Studienerfolg?

Hypothesen:

  • Das MINTFIT-Angebot ist besonders hilfreich für das “Mittelfeld” (bezogen auf Schulnoten im Bereich Mathematik, Chemie, Physik, Informatik)
  • Die Nutzung des MINTFIT-Angebots (Tests, Kurse, Feedback und Dashboard) vergrößert die Chance auf einen erfolgreichen Studienverlauf.

Ziele:

  • MINTFIT Hamburg möchte MINT-Studierenden den Einstieg ins Studium erleichtern und ihren Studienerfolg verbessern. Dies kann z.B. eine Verbesserung der im Studium erzielten Noten, eine Erhöhung der Anzahl der erreichten Credit Points innerhalb eines bestimmten Zeitraums sein oder auch die Verringerung der Wahrscheinlichkeit eines Studienabbruchs.
  • Mit den Rückmeldungen der Studienteilnehmenden und den Ergebnissen der Studie zum Studienerfolg kann das MINTFIT-Angebot im Hinblick auf diese Zielsetzung weiter optimiert werden. Zudem kann das MINTFIT-Angebot basierend auf den Studienergebnissen gezielt den Personengruppen anempfohlen werden, denen es bereits messbar hilft.
  • Mit der Studie wird des Weiteren ein Beitrag zur wissenschaftlichen Forschung rund um die Studieneingangsphase geleistet.
Durchführung der MINTFIT Wirksamkeitsanalyse

Studienanfänger:innen der MINT-Studiengänge (mit Start der Kohorten im Wintersemester, beginnend mit der ersten Kohorte ab WiSe 21/22) in Hamburg oder auch an anderen Standorten werden über 2 Jahre beobachtet, ihr Studienverlauf wird aufgezeichnet. Um die Wirksamkeit der MINTFIT-Angebote von anderen Faktoren zu entkoppeln, werden die Studienteilnehmenden in eine Experimentalgruppe und in eine Kontrollgruppe eingeteilt:

  • Die Experimentalgruppe bekommt genaue Anweisungen, in welchem Umfang und wann die MINTFIT-Angebote genutzt werden sollen. Regelmäßig (einmal pro Woche) wird mithilfe eines Fragebogens erfasst, welche Angebote genutzt wurden und in welchem Zeitumfang.
  • Die Kontrollgruppe bekommt – wie auch alle MINT-Studienanfänger:innen der MINTFIT-Projektpartner – nur den Hinweis auf die MINTFIT-Angebote. Das bedeutet insbesondere, dass der zeitliche Rahmen der Arbeit mit den MINTFIT-Angeboten nicht vorgegeben wird und dass im Rahmen der Studie keine Selbstreflexion der Studienteilnehmer:innen in Bezug auf die Studienvorbereitung stattfindet.

Zu Beginn der Studie wird ein allgemeiner erster Fragebogen ausgefüllt. Danach werden die Teilnehmenden basierend auf ihren Antworten in die zwei Gruppen zufällig und repräsentativ zugeteilt. In beiden Gruppen wird der Umfang der Nutzung der MINTFIT-Angebote von den Teilnehmenden selbst dokumentiert.

Bis zum Ende des SoSe 23 werden alle Studienteilnehmenden der ersten Kohorte regelmäßig (alle 3-6 Monate) mit Fragebögen zum Studienerfolg befragt.

Je nach Teilnehmeranzahl kann die Wirksamkeit auch in ausgewählten Teilgruppen untersucht werden, um den Einfluss von anderen Faktoren auf den Studienerfolg zu quantifizieren.

Eine neue Kohorte startet jeweils zum Wintersemester eines Jahres.

Technische Umsetzung

Im Laufe der Studie werden viele personenbezogene Daten der Studienteilnehmenden abgefragt. Um den Datenschutz zu gewährleisten, wird auf eine Pseudonymisierung gesetzt sowie die Benutzerverwaltung getrennt von den Umfrageergebnissen gespeichert.

Für die Online-Befragungen (umfrage.mintfit.hamburg) wird das Tool LimeSurvey genutzt, das auf Servern von MINTFIT an der TU Hamburg gehostet wird. Zusätzlich soll für Teilnehmende die Möglichkeit bestehen, freiwillig an Interviews teilzunehmen, die von Mitarbeitenden der Studie durchgeführt werden. Die Studienteilnahme erfolgt per Registrierung auf der WordPress-Seite studie.mintfit.hamburg (Benutzerverwaltung der Studie). Die Benutzerverwaltung wird ebenfalls auf Servern von MINTFIT an der TU Hamburg gehostet. Wir legen sehr großen Wert darauf, die von den Studienteilnehmenden zur Verfügung gestellten Daten zu schützen und Daten so zu erheben, dass keine Rückschlüsse auf einzelne Personen getroffen werden können sowie datensparend zu arbeiten. Weitere Infos zum Thema Datenschutz können in unserer Datenschutzerklärung nachgelesen werden.

Um ein besseres Verständnis davon zu erlangen, wie sich die Nutzung der MINTFIT-Tests und -Kurse auf den Studienerfolg auswirkt, und um damit die Effektivität der Studie zu gewährleisten, speichern wir die Antworten der Studienteilnehmenden bei den Befragungen zusammen mit einem generierten Pseudonym. Aus dem Pseudonym und den gegebenen Antworten können wir keine Rückschlüsse auf einzelne Personen ziehen. Wir werten die im Rahmen dieser Studie von den Studienteilnehmenden gegebenen Antworten zu mehreren Zeitpunkten im Verlauf der Studie aus und nutzen die Ergebnisse um unser MINTFIT-Angebot zu verbessern. Außerdem dient die Auswertung der Grundlagenforschung rund um die Studieneingangsphase und damit dem wissenschaftlichen Interesse von MINTFIT als Einrichtung der Hamburger Hochschulen.

Konkret durchlaufen die Teilnehmer:innen die folgenden Schritte:

  • Die Anmeldung zur Studie und der Zugriff auf Links zur Umfragesystem erfolgt über die Benutzerverwaltung, die eine WordPress-Seite ist.
  • Nach Eingabe des Benutzernamens und des Passworts (Anmeldung) kann auf die Links auf die Fragebögen zugegriffen werden. Beim Klick auf einen der Links werden die Studienteilnehmenden zur Eingabe ihres Geburtsdatums aufgefordert. Das Geburtsdatum wird nicht an die MINTFIT-Server übertragen, aber mit Hilfe von JavaScript im Browser der Studienteilnehmenden wird aus dem Geburtsdatum und dem Benutzernamen ein eindeutiges Pseudonym generiert, das keine Rückschlüsse auf die teilnehmende Person zulässt.
  • Die Fragebögen werden mit einem MINTFIT-eigenen LimeSurvey durchgeführt. In den Fragebögen werden die Pseudonyme der Studienteilnehmenden automatisch gespeichert, damit die Antworten in verschiedenen Fragebögen einer Person demselben Pseudonym zugeordnet werden können. Damit Teilnehmende die korrekten Fragebögen angezeigt bekommen (abhängig davon, ob sie in der Experimental- oder Kontrollgruppe sind), ist ein “Verteilerfragebogen” vorgeschaltet, der abhängig vom Pseudonym auf den Fragebogen für die korrekte Gruppe weiterleitet.
Zeitlicher Ablauf der Studie

Der zeitliche Ablauf der Studie ist in der folgenden Timeline graphisch dargestellt. In der oberen Graphik ist der zeitliche Ablauf der Studie innerhalb einer Kohorte dargestellt, die untere Graphik beschreibt den Ablauf der Studie auf Ebene der jährlich aufeinander folgenden Kohorten.

Ergebnisse

Hier werden die Ergebnisse der Studie zukünftig veröffentlicht und regelmäßig aktualisiert.

Verantwortliche Personen und Kontakt:

Verantwortlich für die wissenschaftliche Ausarbeitung der Studie: Dr. Helena Barbas, Dr. Julian Großmann

Verantwortlich für die technische Umsetzung: Jan Dillenberger

Quellen