FAMULUS: Förderung von Diagnosekompetenzen durch adaptive Online- Fallsimulationen in Medizin- und Lehramtsstudium

FAMULUS will einen Beitrag zur Umsetzung der nationalen Bildungsstandards für Lehrerbildung und medizinische Ausbildung mithilfe digitaler Hochschullehre leisten. Das Projekt fokussiert dabei auf Diagnosekompetenzen, die in vielen Studiengängen relevant und für viele berufliche Tätigkeiten kritisch sind. Ziel ist es, Bedingungen für den effektiven Einsatz von computergestützten Fallsimulationen zur Förderung von Diagnosekompetenzen in der Hochschullehre zu ermitteln. Gegenstandsbereiche sind die Ausbildung in der Medizin und im Lehramt.

Während im Hochschulstudium die Aneignung der konzeptuellen Wissensbasis unterstützt wird, gibt es bisher zu wenige Möglichkeiten für Studierende, das eigene Handeln in praktischen Diagnosesituationen mit entsprechendem lernförderlichem Feedback zu erproben. Online-Fallsimulationen bieten sich zur Förderung sowie zur Messung von Diagnosekompetenzen an. Im Rahmen dieses Projekts sollen (1) neue Möglichkeiten der automatischen Textanalyse für adaptives Feedback auf die Diagnose- und Begründungsversuche von Lernenden bei der Bearbeitung von Fallsimulationen untersucht und (2) Möglichkeiten der Kooperationsunterstützung von digitalen Medien daraufhin untersucht werden, inwieweit kooperatives Lernen rund um die Fallsimulationen gefördert werden kann.

Diese fünf Fragestellungen wurden während der dreijährigen Förderung in drei Studien bearbeitet, die jeweils in zwei Inhaltsbereichen (Medizin und Psychologie im Lehramtsstudium) aufgeteilt waren.

Welche Effekte haben unterschiedliche Online-Fallsimulationsformate (Whole Case vs. Serial Cue) auf epistemisch-diagnostische Prozesse und die Diagnosekompetenzen in der Medizin und im Lehramtsstudium in Abhängigkeit vom Vorwissen der Lernenden?
Inwieweit können die Diagnosekompetenzen von Studierenden bei der Bearbeitung von Online-Fallsimulationen automatisch analysiert werden?
Welche Effekte hat adaptives automatisch generiertes Feedback im Unterschied zu Expertenfeedback?
Unterscheiden sich die Effekte adaptiver automatisch generierter Feedbacks bei der Bearbeitung von Online-Fallsimulationen sowie die Diagnosekompetenzen zwischen individuellem und kooperativem Lernen bei Studierenden?
Inwieweit lassen sich die in den Studien gefundenen Effekte zum automatisierten Feedback und zur Sozialform des Lernens bei der Bearbeitung von Online-Fallsimulationen bei Studierenden unter Feld-Bedingungen replizieren?

Das Projekt bestand aus drei parallelisierten Studien.

Methodisches Vorgehen

Zur Vorbereitung der Studien wurde die CASUS-Fallsimulationsumgebung für die unterschiedlichen Fallformate angepasst. Zudem wurde ein Interface zum Datentransfer zwischen den Nutzereingaben bei der Fallbearbeitung in CASUS, den in Darmstadt entwickelten automatischen Analysewerkzeugen und dem CASUS-Feedback-Modul entwickelt. Außerdem wurden die technischen Schnittstellen zur adaptiven Zuordnung von Fallformaten zu den Lernenden gemäß derer (sich entwickelnder) Diagnosekompetenzen berücktsichtigt und integriert.

Studien 1a und 1b

Bei diesen Studien handelt es sich um weitgehend parallelisierte Studien mit Medizin- und Leharamtstudierenden. Hier werden das Fallformat in den zwei Varianten Whole Case und Serial Cue sowie das Vorwissenslevel in den beiden Stufen niedrig vs. hoch unanbhängig voneinander variiert. In jeder der entstehenden vier experimentellen Bedingungen nehmen 30 Lernende teil. Diese bearbeiten Diagnosefälle auf der Lernplattform CASUS. Die Lernenden werden je nach Fallformat an unterschiedlichen Stellen um Begründungen und Diagnosen bzw. Einschätzungen (Studie 1a) durch Psychologen bzw. Psychiater (Studie 1b) gebeten. Inhaltlich geht es in den Diagnosefällen in Studie 1a (Medizin) um Rückenschmerzen und Fieber unklarer Genese und in Studie 1b (Psychologie im Lehramtsstudium) um Lese-Rechtsschreib-Störungen und ADHS.

Studien 2a und 2b

Auch diese Studien sind weitgehend parallelisierte Studien mit Medizin- und Lehramtsstudierenden als Teilnehmenden. Hier wird zum einen der Faktor adaptives automatisches Feedback variiert (Verfügbarkeit von adaptivem automatischem Feedback vs. Verfügbarkeit einer statischen Expertenlösung). Zum anderen wird der Faktor Sozialform des Lernens (individuell vs. kooperativ) unabhängig vom Feedback variiert. Fälle und CASUS-Lernplattform werden wie in Studie 1a und 1b genutzt. Die Lernenden werden im Zuge der Fallbearbeitung um Begründungen und Diagnosen (Studie 2a) bzw. Einschätzungen und Notwendigkeit weiterer Diagnostik durch Psychologen bzw. Psychiater (Studie 2b) gebeten. Die Diagnosen samt argumentativer Begründungen, die die Lernenden zu den Lernfällen erstellen, werden automatisch und in Echtzeit mit den im Rahmen der Studien 1a und 1b trainierten Algorithmen ausgewertet. In der Bedingung mit automatisch generiertem Feedback wird zur Diagnose mit Begründungen eine automatische Analyse bereitgestellt, die Informationen zur Genauigkeit und Vollständigkeit der Diagnosen sowie zur Qualität der Begründungen enthält. In der Bedingung ohne adaptives automatisches Feedback wird nach Abschluss der Diagnose samt Begründung eine Expertenlösung bereitgestellt. Die Aufgabe des Diagnostizierenden besteht daraus, die ursprünglich verfasste Diagnose bzw. Begründung unter Berücksichtigung des Feedbacks zu überarbeiten.

Studien 3a und 3b

Es handelt sich um Feldstudien zum Einsatz unter realen Studienbegingungen. In diesen Studien werden die fallbasierten Lernumgebungen in curriculare Lehrveranstaltungen integriert und an mindestens drei Universitätsstandorten je Inhaltsbereich angeboten. Das Studiendesign entspricht dem der Studien 2a und 2b. Die Teilnhemer bearbeiten die Fälle im Kontext einer Lehrveranstaltung online. Es werden wiederum epistemisch-diagnostische Aktivitäten anhand der schriftlich eingegebenen Diagnosen und Begründungen während der Bearbeitung der 12 Lernfälle automatisch bestimmt. Anhand der schriftlichen Äußerungen in Vor- und Nachtext werden die Diagnosekompetenzen bestimmt. Die Zuordnung zu einem lernpartner in den Bedingungen mit kooperativem lernen erfolgt anhand der automatischen Analyse der Diagnosekompetenzen im Vortest. Zudem werden die Lernenden zur Art der Nutzung und zum subjektiv eingeschätzten Lernerfolg sowie zur Nützlichkeit und Relevanz der Lernumgebung für ihr Studium befragt.

Veröffentlichungen
FAMULUS-Team

Konferenzbeiträge

Bauer, E.; Sailer, M.; Kiesewetter, J.; Schulz, C.; Gurevych, I.; Fischer, M. R. & Fischer, F., Förderung von Diagnosekompetenzen durch Fallszenarien in simulationsbasierten Lernumgebungen. Tagung „Digitalisierung als Herausforderung für die Hochschuldidaktik“. Mainz, 21.-22.03.2018.

Bauer, E., Sailer, M., Kiesewetter, J., Fischer, M. R., Fischer, F.: Förderung von Diagnosekompetenzen durch simulationsbasiertes Lernen im Lehramtsstudium: Effekte sequenzieller vs. holistischer Fallsimulationen. Kongress der Deutschen Gesellschaft für Psychologie, Frankfurt am Main, 15.-20.09.2018.

Bauer, E.; Sailer, M.; Schulz, C.; Kiesewetter, J.; Fischer, M. R.; Gurevych, I. & Fischer, F. Diagnostic activity patterns of pre-service teachers in learning with case-simulations. Vortrag akzeptiert für die Konferenz der European Association for Research on Learning and Instruction (EARLI), Aachen, 09.2019.

Sailer, M.; Kiesewetter, J.; Meyer, C.; Fischer, F.; Gurevych, I & Fischer, F., Förderung von Diagnosekompetenzen durch Fallsimulationen im Lehramtsstudium. AEPF-Tagungen 2017. Tübingen, 25.-27.09.2017.

Jung, V., Schönberger, R., Sailer, M., Bauer E., Fischer F., Fischer M.R. & Kiesewetter J.: Der Effekt von Vorwissen und Falldarbietungsformat auf die Diagnoserichtigkeit und den prozeduralen Wissenserwerb Medizinstudierender. Presentation at the Conference of the German Medical Education Association in Vienna, Austria, 19.-22.09.2018.

Kiesewetter, J., Jung V., Sailer, M., Schoenberger R., Bauer E., Zottmann J., Hege I., Fischer F. & Fischer M.R.: Fostering diagnostic competence with whole cases vs. serial cue cases: Effects of whole case vs. serial cue on learning process and outcomes. Research Paper at the Association of Medical Education Conference in Basel, Switzerland, 25.-29.08.2018

Kiesewetter, J., Schulz, C., Sailer, M., Fischer, M., Meyer, C., Fischer, F. & Gurevych, I.: Förderung von Diagnosekompetenzen durch adaptive Online Fallssimulationen in Medizin- und Lehramtsstudium. Fachtagung "Hochschulen im digitalen Zeitalter". Berlin, 02-03.07.2017.

Schoenberger, R., Jung V., Sailer M., Zottmann, J., Fischer F., Fischer M.R., Kiesewetter J.: Emotions of Medical Students When Learning with Virtual Patients. Poster at the European Diagnostic Error in Medicine Conference in Bern, Switzerland, 30.-31.08.2018.

Schulz, C., Kiesewetter, J., Sailer, M., Bauer, E., Fischer, F., Fischer, M.R. & Gurevych, I.: The Theory of Scientific Reasoning and Argumentation in Practice. Conference on Bridging the Gap between Formal Argumentation and Actual Human Reasoning. Bochum, 4.-5.10.2018. (Volltext)

Schulz, C., Sailer, M., Kiesewetter, J., Bauer, E., Fischer, F., Fischer, M.R. & Gurevych, I. : Automatic Recommendations for Data Coding: a use case from medical and teacher education. IEEE eScience Conference, Amsterdam, 29.10-1.11.2018. DOI: 10.1109/eScience.2018.00100

Schulz, C.; Sailer, M.; Kiesewetter, J.; Meyer, C. M.; Gurevych, I.; Fischer, M. R. & Fischer, F.: Automatische Analyse von Diagnosekompetenzen in Fallsimulationen. 6te Jahrestagung der Gesellschaft für Empirische Bildungsforschung (GEBF 2018). Basel, 15.-17.02.18

Schulz, C., Meyer, C., Kiesewetter, J., Sailer, M., Bauer, E., Fischer, M., Fischer, F., Fischer, F. & Gurevych, I: Analysis of Automatic Annotation SUggestions for Hard Discourse-Level Tasks in Expert Domains. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), Florence, Italy; https://arxiv.org/abs/1906.02564

Online-Aufsätze

Pfeiffer, J., Meyer, C., Schulz, C., Kiesewetter, J., Zottmann, J., Sailer, M., Bauer, E., Fischer, F., Fischer, M., & Gurevych, I. (2019). FAMULUS: Interactive Annotation and Feedback Generation for Teaching Diagnostic Reasoning; https://arxiv.org/abs/1908.11254v1

Schulz, C., Sailer, M., Kiesewetter, J., Meyer, C.M., Gurevych, I., Fischer, F. & Fischer, M. R: Fallsimulationen und automatisches adaptives Feedback mittels Küntlicher Intelligenz in digitalen Lernumgebungen für die Plattform e-teaching.org, Oktober 2017.

Schulz, C., Meyer, C. M., Sailer, M., Kiesewetter, J., Bauer, E., Fischer, F., Fischer M. R. & Gurevych, I.: Challenges in the Automatic Analysis of Students' Diagnostic Reasoning, 2018; arXiv:1811.10550.

Schulz, C., Meyer, C. M., Kiesewetter, J., Sailer, M., Bauer, E., Fischer, M., Fischer, F., & Gurevych, I. (2019): Analysis of Automatic Annotation Suggestions for Hard Discourse-Level Tasks in Expert Domains; https://arxiv.org/pdf/1906.02564.pdf

FAMULUS: Förderung von Diagnosekompetenzen durch adaptive Online- Fallsimulationen in Medizin- und Lehramtsstudium

Fragestellungen des Projekts:

Studien:

Das Team am LMU Klinikum

Das Team an der LMU München

Das Team an der TU Darmstadt

Ehemalige