FAMULUS: Förderung von Diagnosekompetenzen durch adaptive Online- Fallsimulationen in Medizin- und Lehramtsstudium
FAMULUS will einen Beitrag zur Umsetzung der nationalen Bildungsstandards für Lehrerbildung und medizinische Ausbildung mithilfe digitaler Hochschullehre leisten. Das Projekt fokussiert dabei auf Diagnosekompetenzen, die in vielen Studiengängen relevant und für viele berufliche Tätigkeiten kritisch sind. Ziel ist es, Bedingungen für den effektiven Einsatz von computergestützten Fallsimulationen zur Förderung von Diagnosekompetenzen in der Hochschullehre zu ermitteln. Gegenstandsbereiche sind die Ausbildung in der Medizin und im Lehramt.
Während im Hochschulstudium die Aneignung der konzeptuellen Wissensbasis unterstützt wird, gibt es bisher zu wenige Möglichkeiten für Studierende, das eigene Handeln in praktischen Diagnosesituationen mit entsprechendem lernförderlichem Feedback zu erproben. Online-Fallsimulationen bieten sich zur Förderung sowie zur Messung von Diagnosekompetenzen an. Im Rahmen dieses Projekts sollen (1) neue Möglichkeiten der automatischen Textanalyse für adaptives Feedback auf die Diagnose- und Begründungsversuche von Lernenden bei der Bearbeitung von Fallsimulationen untersucht und (2) Möglichkeiten der Kooperationsunterstützung von digitalen Medien daraufhin untersucht werden, inwieweit kooperatives Lernen rund um die Fallsimulationen gefördert werden kann.

Ansprechpartner:innen am Institut:
Projektlaufzeit:
- 03/2017 - 02/2020
Förderung:
Projekt-/Kooperationspartner:
Fragestellungen des Projekts:
Diese fünf Fragestellungen wurden während der dreijährigen Förderung in drei Studien bearbeitet, die jeweils in zwei Inhaltsbereichen (Medizin und Psychologie im Lehramtsstudium) aufgeteilt waren.
- Welche Effekte haben unterschiedliche Online-Fallsimulationsformate (Whole Case vs. Serial Cue) auf epistemisch-diagnostische Prozesse und die Diagnosekompetenzen in der Medizin und im Lehramtsstudium in Abhängigkeit vom Vorwissen der Lernenden?
- Inwieweit können die Diagnosekompetenzen von Studierenden bei der Bearbeitung von Online-Fallsimulationen automatisch analysiert werden?
- Welche Effekte hat adaptives automatisch generiertes Feedback im Unterschied zu Expertenfeedback?
- Unterscheiden sich die Effekte adaptiver automatisch generierter Feedbacks bei der Bearbeitung von Online-Fallsimulationen sowie die Diagnosekompetenzen zwischen individuellem und kooperativem Lernen bei Studierenden?
- Inwieweit lassen sich die in den Studien gefundenen Effekte zum automatisierten Feedback und zur Sozialform des Lernens bei der Bearbeitung von Online-Fallsimulationen bei Studierenden unter Feld-Bedingungen replizieren?
Studien:
Das Projekt bestand aus drei parallelisierten Studien.
Methodisches Vorgehen
Zur Vorbereitung der Studien wurde die CASUS-Fallsimulationsumgebung für die unterschiedlichen Fallformate angepasst. Zudem wurde ein Interface zum Datentransfer zwischen den Nutzereingaben bei der Fallbearbeitung in CASUS, den in Darmstadt entwickelten automatischen Analysewerkzeugen und dem CASUS-Feedback-Modul entwickelt. Außerdem wurden die technischen Schnittstellen zur adaptiven Zuordnung von Fallformaten zu den Lernenden gemäß derer (sich entwickelnder) Diagnosekompetenzen berücktsichtigt und integriert.
Bei diesen Studien handelt es sich um weitgehend parallelisierte Studien mit Medizin- und Leharamtstudierenden. Hier werden das Fallformat in den zwei Varianten Whole Case und Serial Cue sowie das Vorwissenslevel in den beiden Stufen niedrig vs. hoch unanbhängig voneinander variiert. In jeder der entstehenden vier experimentellen Bedingungen nehmen 30 Lernende teil. Diese bearbeiten Diagnosefälle auf der Lernplattform CASUS. Die Lernenden werden je nach Fallformat an unterschiedlichen Stellen um Begründungen und Diagnosen bzw. Einschätzungen (Studie 1a) durch Psychologen bzw. Psychiater (Studie 1b) gebeten. Inhaltlich geht es in den Diagnosefällen in Studie 1a (Medizin) um Rückenschmerzen und Fieber unklarer Genese und in Studie 1b (Psychologie im Lehramtsstudium) um Lese-Rechtsschreib-Störungen und ADHS.
Auch diese Studien sind weitgehend parallelisierte Studien mit Medizin- und Lehramtsstudierenden als Teilnehmenden. Hier wird zum einen der Faktor adaptives automatisches Feedback variiert (Verfügbarkeit von adaptivem automatischem Feedback vs. Verfügbarkeit einer statischen Expertenlösung). Zum anderen wird der Faktor Sozialform des Lernens (individuell vs. kooperativ) unabhängig vom Feedback variiert. Fälle und CASUS-Lernplattform werden wie in Studie 1a und 1b genutzt. Die Lernenden werden im Zuge der Fallbearbeitung um Begründungen und Diagnosen (Studie 2a) bzw. Einschätzungen und Notwendigkeit weiterer Diagnostik durch Psychologen bzw. Psychiater (Studie 2b) gebeten. Die Diagnosen samt argumentativer Begründungen, die die Lernenden zu den Lernfällen erstellen, werden automatisch und in Echtzeit mit den im Rahmen der Studien 1a und 1b trainierten Algorithmen ausgewertet. In der Bedingung mit automatisch generiertem Feedback wird zur Diagnose mit Begründungen eine automatische Analyse bereitgestellt, die Informationen zur Genauigkeit und Vollständigkeit der Diagnosen sowie zur Qualität der Begründungen enthält. In der Bedingung ohne adaptives automatisches Feedback wird nach Abschluss der Diagnose samt Begründung eine Expertenlösung bereitgestellt. Die Aufgabe des Diagnostizierenden besteht daraus, die ursprünglich verfasste Diagnose bzw. Begründung unter Berücksichtigung des Feedbacks zu überarbeiten.
Es handelt sich um Feldstudien zum Einsatz unter realen Studienbegingungen. In diesen Studien werden die fallbasierten Lernumgebungen in curriculare Lehrveranstaltungen integriert und an mindestens drei Universitätsstandorten je Inhaltsbereich angeboten. Das Studiendesign entspricht dem der Studien 2a und 2b. Die Teilnhemer bearbeiten die Fälle im Kontext einer Lehrveranstaltung online. Es werden wiederum epistemisch-diagnostische Aktivitäten anhand der schriftlich eingegebenen Diagnosen und Begründungen während der Bearbeitung der 12 Lernfälle automatisch bestimmt. Anhand der schriftlichen Äußerungen in Vor- und Nachtext werden die Diagnosekompetenzen bestimmt. Die Zuordnung zu einem lernpartner in den Bedingungen mit kooperativem lernen erfolgt anhand der automatischen Analyse der Diagnosekompetenzen im Vortest. Zudem werden die Lernenden zur Art der Nutzung und zum subjektiv eingeschätzten Lernerfolg sowie zur Nützlichkeit und Relevanz der Lernumgebung für ihr Studium befragt.
Konferenzbeiträge
Bauer, E.; Sailer, M.; Kiesewetter, J.; Schulz, C.; Gurevych, I.; Fischer, M. R. & Fischer, F., Förderung von Diagnosekompetenzen durch Fallszenarien in simulationsbasierten Lernumgebungen. Tagung „Digitalisierung als Herausforderung für die Hochschuldidaktik“. Mainz, 21.-22.03.2018.
Bauer, E., Sailer, M., Kiesewetter, J., Fischer, M. R., Fischer, F.: Förderung von Diagnosekompetenzen durch simulationsbasiertes Lernen im Lehramtsstudium: Effekte sequenzieller vs. holistischer Fallsimulationen. Kongress der Deutschen Gesellschaft für Psychologie, Frankfurt am Main, 15.-20.09.2018.
Bauer, E.; Sailer, M.; Schulz, C.; Kiesewetter, J.; Fischer, M. R.; Gurevych, I. & Fischer, F. Diagnostic activity patterns of pre-service teachers in learning with case-simulations. Vortrag akzeptiert für die Konferenz der European Association for Research on Learning and Instruction (EARLI), Aachen, 09.2019.
Sailer, M.; Kiesewetter, J.; Meyer, C.; Fischer, F.; Gurevych, I & Fischer, F., Förderung von Diagnosekompetenzen durch Fallsimulationen im Lehramtsstudium. AEPF-Tagungen 2017. Tübingen, 25.-27.09.2017.
Jung, V., Schönberger, R., Sailer, M., Bauer E., Fischer F., Fischer M.R. & Kiesewetter J.: Der Effekt von Vorwissen und Falldarbietungsformat auf die Diagnoserichtigkeit und den prozeduralen Wissenserwerb Medizinstudierender. Presentation at the Conference of the German Medical Education Association in Vienna, Austria, 19.-22.09.2018.
Kiesewetter, J., Jung V., Sailer, M., Schoenberger R., Bauer E., Zottmann J., Hege I., Fischer F. & Fischer M.R.: Fostering diagnostic competence with whole cases vs. serial cue cases: Effects of whole case vs. serial cue on learning process and outcomes. Research Paper at the Association of Medical Education Conference in Basel, Switzerland, 25.-29.08.2018
Kiesewetter, J., Schulz, C., Sailer, M., Fischer, M., Meyer, C., Fischer, F. & Gurevych, I.: Förderung von Diagnosekompetenzen durch adaptive Online Fallssimulationen in Medizin- und Lehramtsstudium. Fachtagung "Hochschulen im digitalen Zeitalter". Berlin, 02-03.07.2017.
Schoenberger, R., Jung V., Sailer M., Zottmann, J., Fischer F., Fischer M.R., Kiesewetter J.: Emotions of Medical Students When Learning with Virtual Patients. Poster at the European Diagnostic Error in Medicine Conference in Bern, Switzerland, 30.-31.08.2018.
Schulz, C., Kiesewetter, J., Sailer, M., Bauer, E., Fischer, F., Fischer, M.R. & Gurevych, I.: The Theory of Scientific Reasoning and Argumentation in Practice. Conference on Bridging the Gap between Formal Argumentation and Actual Human Reasoning. Bochum, 4.-5.10.2018. (Volltext)
Schulz, C., Sailer, M., Kiesewetter, J., Bauer, E., Fischer, F., Fischer, M.R. & Gurevych, I. : Automatic Recommendations for Data Coding: a use case from medical and teacher education. IEEE eScience Conference, Amsterdam, 29.10-1.11.2018. DOI: 10.1109/eScience.2018.00100
Schulz, C.; Sailer, M.; Kiesewetter, J.; Meyer, C. M.; Gurevych, I.; Fischer, M. R. & Fischer, F.: Automatische Analyse von Diagnosekompetenzen in Fallsimulationen. 6te Jahrestagung der Gesellschaft für Empirische Bildungsforschung (GEBF 2018). Basel, 15.-17.02.18
Schulz, C., Meyer, C., Kiesewetter, J., Sailer, M., Bauer, E., Fischer, M., Fischer, F., Fischer, F. & Gurevych, I: Analysis of Automatic Annotation SUggestions for Hard Discourse-Level Tasks in Expert Domains. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), Florence, Italy; https://arxiv.org/abs/1906.02564
Online-Aufsätze
Pfeiffer, J., Meyer, C., Schulz, C., Kiesewetter, J., Zottmann, J., Sailer, M., Bauer, E., Fischer, F., Fischer, M., & Gurevych, I. (2019). FAMULUS: Interactive Annotation and Feedback Generation for Teaching Diagnostic Reasoning; https://arxiv.org/abs/1908.11254v1
Schulz, C., Sailer, M., Kiesewetter, J., Meyer, C.M., Gurevych, I., Fischer, F. & Fischer, M. R: Fallsimulationen und automatisches adaptives Feedback mittels Küntlicher Intelligenz in digitalen Lernumgebungen für die Plattform e-teaching.org, Oktober 2017.
Schulz, C., Meyer, C. M., Sailer, M., Kiesewetter, J., Bauer, E., Fischer, F., Fischer M. R. & Gurevych, I.: Challenges in the Automatic Analysis of Students' Diagnostic Reasoning, 2018; arXiv:1811.10550.
Schulz, C., Meyer, C. M., Kiesewetter, J., Sailer, M., Bauer, E., Fischer, M., Fischer, F., & Gurevych, I. (2019): Analysis of Automatic Annotation Suggestions for Hard Discourse-Level Tasks in Expert Domains; https://arxiv.org/pdf/1906.02564.pdf
Das Team am LMU Klinikum
Prof. Dr. Martin Fischer
Projektleiter am Institut für Didaktik und Ausbildungsforschung in der Medizin
Dr. Jan Kiesewetter
Projektmitarbeiter
Dr. Jan Zottmann
Projektmitarbeiter
Valentina Jung
Doktorandin
Mara Maticevic, M.A.
wissenschaftliche Koordination
Regina Schönberger
Doktorandin
Katharina Nederstigt
Doktorandin
Helene Werl
Doktorandin
Pablo Schäffner
Doktorand
Sven-Markus Sarbu-Rothsching
Doktorand
Das Team an der LMU München
Prof. Dr. Frank Fischer
Projektleiter am Lehrstuhl für empirische Pädagogik und pädagogische Psychologie
Dr. Michael Sailer
Projektmitarbeiter
Elisabeth Bauer, M.Sc.
Projektmitarbeiterin und Doktorandin
Simon Eichler
studentische Hilfskraft
Hanna Mißbach
wissenschaftliche Hilfskraft
Das Team an der TU Darmstadt
Prof. Dr. Iryna Gurevych
Projektleiterin am Ubiquitous Knowledge Processing Lab/ Computer Science Department
Dr. Christian M. Meyer
Projektkoordinator
Jonas Pfeiffer, M.Sc.
Projektmitarbeiter und Doktorand
Ehemalige
Dr. Concetta Perdichizzi
ehemalige wissenschaftliche Koordination
Dr. Claudia Schulz
ehemalige Projektmitarbeiterin an der TU Darmstadt
-
-