Chatbot statt Anwalt?
v.l.n.r.: Professor Dr. Markus Conrads und Professor Dr. Sascha Schweitzer gingen der juristischen Kompetenz von Chatbots auf den Grund. Von Rechtsprechung durch KI sind wir noch weit entfernt. Das Potenzial dafür ist jedoch gegeben.
Wer entscheidet besser über Rechtsfragen: ausgebildete Juristen oder künstliche Intelligenz (KI)? Im Rahmen einer Forschungsarbeit widmeten sich Prof. Dr. Markus Conrads und Prof. Dr. Sascha Schweitzer von der ESB Business School der Hochschule Reutlingen diesem Thema. Sie ließen KI-gestützte Chatbots einfache juristische Problemfälle lösen. Insbesondere ChatGPT-4 erzielt dabei bereits heute brauchbare Ergebnisse.
Für die Studie erhielten die drei Chatbots ChatGPT-4, ChatGPT-3.5 und Google Bard jeweils 200 Klausuraufgaben aus dem deutschen Vertrags-, Wirtschafts- und Arbeitsrecht. Um die Qualität und Zuverlässigkeit der KI zu überprüfen, stellten die Wissenschaftler die Aufgaben mehrfach in verschiedenen Frage- und Antwortformaten.
Besonders bei gutachterlichen Lösungen schnitt die KI überraschend gut ab. ChatGPT-4 konnte durchschnittlich 54% der Punkte erzielen und würde damit eine Juraklausur bestehen. In knapp 30% der Fälle erarbeitete der Chatbot sogar eine nach menschlichen Maßstäben deutlich überdurchschnittliche Lösung. Bei Multiple-Choice-Aufgaben beantwortete ChatGPT-4 rund die Hälfte der Fragen korrekt. Die kostenlose Version ChatGPT-3.5 und Google Bard schnitten jeweils deutlich schlechter ab.
„Metaphorisch gesprochen ist ChatGPT-4 gerade in der Fahrschule und hat sicher noch keinen juristischen Führerschein. Das System wird aber schnell dazu lernen“, bewertet Markus Conrads, Professor für deutsches und internationales Wirtschaftsrecht an der ESB Business School, die Ergebnisse.
Angst vor KI im Gerichtssaal müsse man trotzdem nicht haben, beruhigt der Jurist: „Wir haben Fälle untersucht, die auf ein konkretes Rechtsproblem zugeschnitten waren. Dass KI komplexe juristische Sachverhalte selbstständig bearbeitet, steht aktuell überhaupt nicht zur Diskussion.“
Wenn irgendwann doch der Punkt erreicht ist, an dem Künstliche Intelligenz bei juristischen Prozessen einbezogen wird, so müsse man dies auch unter ethischen Gesichtspunkten betrachten, sagt Sascha Schweitzer, Professor für Data Science an der ESB Business School: „Es wird heute intensiv an sogenannter „Explainable AI“, also erklärbarer Künstlicher Intelligenz gearbeitet. Dadurch sollen KI-Prozesse für Menschen durchschaubar werden. Der juristische Bereich ist sicher ein Feld, in dem der Einsatz transparenter Algorithmen besonders entscheidend ist.“
Die ausführlichen Ergebnisse der Untersuchung sind in der „Neuen Juristischen Wochenschrift“, Deutschlands auflagenstärkster Zeitschrift für juristische Theorie und Praxis, erschienen.
