Symbiose zwischen den Fähigkeiten von Mensch und Maschine

Im Blickpunkt: Technology-assisted Review (TAR) – der Ausweg aus dem Datenchaos?

Von Nadja M. Würtz und Maranza Coetzee

Beitrag als PDF (Download)

Was ist TAR?

Der technologische Fortschritt hat Einzelpersonen und Unternehmen befähigt, erhebliche Datenmengen zu speichern. Die damit verbundenen Schwierigkeiten des Verwaltens und Verarbeitens großer Mengen an Dokumenten ist auch für die Anwaltschaft relevant, insbesondere im Zusammenhang mit der sogenannten „Discovery“. Discovery ist ein im Common Law entwickelter rechtlicher Grundsatz, der den Rechtsbeistand verpflichtet, eine sorgfältige Durchsicht aller Unterlagen seines Mandanten durchzuführen, um alle für das zugrundeliegende Streit- oder Ermittlungsverfahren relevanten Dokumente zu ermitteln und verfügbar zu machen. Die Kosten im Zusammenhang mit der Überprüfung und Auswertung der Daten in einer Discovery können in Abhängigkeit von ihrem Umfang erheblich sein. Dies gilt vor allem, wenn deren Sichtung und Auswertung manuell erfolgt. In diesem Fall kann „Technology-assisted Review“ (TAR) eine geeignete Lösung für ein effizientes Vorgehen sein. Wie der Begriff bereits nahelegt, wird der Prozess der Suche nach relevanten Dokumenten durch den Einsatz von Technologie unterstützt.

Wie funktioniert TAR?

Es gibt unterschiedliche Meinungen über die genaue Definition und den Umfang des Begriffs „Technology-assisted Review“. Einige Experten definieren TAR als jede Art von computergestütztem System, die verwendet wird, um in elektronischer Form vorliegende Dokumente im Rahmen einer sogenannten „E-Discovery“ zu untersuchen. Andere Experten definieren TAR als Synonym für einen Prozess namens „Predictive Coding“. In diesem Beitrag wird Predictive Coding als eine Unterart von TAR verstanden. Da Predictive Coding die umstrittenste Form von TAR ist, soll es im Folgenden kurz erläutert werden.

Predictive Coding besteht aus der Zusammenarbeit zwischen einem menschlichen Experten und komplexen computergestützten Algorithmen. Der Experte lehrt den Computer, zwischen relevanten und irrelevanten Dokumenten zu unterscheiden. In einem ersten Schritt wird eine Stichprobe von Dokumenten erstellt, das sogenannte „Training-Set“. Der Experte wird jedes Dokument dieses Training-Sets als relevantes oder irrelevantes Dokument markieren. Dieses Vorgehen wird als „Coding“ bezeichnet. Die Ergebnisse werden in die Predictive-Coding-Software eingegeben, die die kodierte Stichprobe analysiert und einen Algorithmus erstellt, der es der Software ermöglicht vorherzusagen, ob ein bestimmtes Dokument relevant oder irrelevant ist. Der nächste Schritt besteht darin, den Algorithmus zu testen und gegebenenfalls neu zu kalibrieren, um sicherzustellen, dass er zuverlässig ist. Mit Hilfe des Algorithmus wird dazu ein zweites Training-Set erstellt, und die Kodierung wird anhand der Genauigkeitseinschätzung der Software klassifiziert. Der Algorithmus stuft die Dokumente mit einem geringen Maß an Sicherheit ein. Diese werden dann durch den Experten erneut kodiert. Die Ergebnisse werden wiederum in die Predictive-Coding-Software eingegeben und der Algorithmus entsprechend angepasst. Dieses Vorgehen wird wiederholt, bis das System angeglichen und der Experte überzeugt ist, dass der Algorithmus mit ausreichender Zuverlässigkeit relevante Dokumente aus der Grundgesamtheit aller Dokumente identifiziert.

Sogenannte „Control-Sets“ werden verwendet, um einzuschätzen, wie zuverlässig der Algorithmus des Predictive Codings ist. Die Ergebnisse werden im Rahmen eines Gerichtsverfahrens verwendet, um dem Gericht die Zuverlässigkeit des Vorgehens nachzuweisen. Der Rechtsbeistand würde zum Beispiel sagen, dass er zu 95% sicher ist, dass 75% aller relevanten Dokumente identifiziert wurden. Für die Schätzung dieser statistischen Daten verwenden Experten die Faktoren „Trefferquote“ und „Genauigkeit“. Eine 100%ige Genauigkeit würde bedeuten, dass alle Dokumente, die als relevant kodiert wurden, tatsächlich relevant sind und nicht falsch klassifiziert wurden. Ein 100%ige Trefferquote würde bedeuten, dass alle relevanten Dokumente im gesamten Datensatz gefunden und als relevant eingestuft wurden. Trefferquoten und Genauigkeiten von 100% können dabei nur durch eine manuelle Überprüfung erreicht werden. Durch ein zufällig ausgewähltes Control-Set können sie jedoch hinreichend abgeschätzt werden. Das Control-Set ist ein Querschnitt des gesamten Datensatzes. Je größer das Control-Set ist, desto genauer werden die Schätzungen sein. Jedoch sind größere Control-Sets auch mit höheren Kosten verbunden. Dementsprechend muss eine angemessene Balance zwischen der Genauigkeit der Schätzungen und den mit dem Control-Set verbundenen Kosten gefunden werden.

Was sagt die Rechtsprechung zu TAR?

Verschiedene Jurisdiktionen haben die Zulässigkeit der Verwendung von TAR im Rahmen von Gerichtsverfahren bestätigt. Ein US-amerikanisches Gericht [„Da Silva Moore vs. Publicis Groupe“, 287 F.R.D. 182–193 (S.D.N.Y. 2012)] hielt fest, dass es keine bestehenden Verfahrensregeln gebe, die die Verwendung von TAR verböten. Diese Methode könne jedoch verweigert werden, wenn die Grundsätze der Verhältnismäßigkeit nicht eingehalten werden würden. Ein Gericht in Irland [„Irish Bank Resolution Corporation Ltd & Ors vs. Quin & Ors“ (2015) IEHC 175] ließ die Verwendung von TAR unter der Bedingung zu, dass der Rechtsbeistand geeignete Verfahren sicherstellt, um eine zuverlässige Vorgehensweise zu gewährleisten. Das Gericht forderte die Parteien auf, ein Gleichgewicht herzustellen zwischen dem Recht einer Partei, die Vorgehensweise bei der Discovery zu wählen, und dem Recht der anderen Partei auf Transparenz und Zuverlässigkeit. Ein Gericht in Großbritannien [„Pyrrho Investments Ltd. vs. MVB Property Ltd.“ (2016) EWHC 256] folgte den Hinweisen des US-amerikanischen Gerichts und genehmigte TAR darüber hinaus mit dem Argument, dass der Prozess zuverlässiger als ein rein manueller Review sei.

Dennoch ist die Verwendung von TAR bisher noch in keiner Rechtsordnung über verbindliche Richtlinien geregelt. Allerdings können aus der zuvor zitierten Gerichtspraxis, insbesondere aus einer Entscheidung des US-amerikanischen Richters Andrew J. Peck [„Da Silva Moore vs. Publicis Groupe“, 287 F.R.D. 182–193 (S.D.N.Y. 2012)], der im Jahr 2012 als erster US-amerikanischer Richter über die Anwendung von TAR zu entscheiden hatte, Anhaltspunkte für eine zulässige Anwendung von TAR gewonnen werden:

  • Verfahrensregeln, die die Zulässigkeit von Beweismitteln regeln, sind nur auf die Dokumente und ihren Inhalt anwendbar und nicht auf die Verfahren, die bei der Discovery eingesetzt werden. TAR ist vorläufig zulässig, es sei denn, der vorsitzende Richter lehnt einen Antrag auf die Verwendung von TAR ab.
  • Die Gerichte können Rechtsanwälten die Verwendung von TAR untersagen, wenn diese dem Grundsatz der Verhältnismäßigkeit widersprechen. Jedes Rechtssystem hat seine eigenen Definitionen und Standards von Verhältnismäßigkeit. Richter Peck erklärte dazu, dass unterschiedliche Faktoren und Umstände zur Bestimmung der Verhältnismäßigkeit heranzuziehen seien. Faktoren, die im Rahmen einer solchen Abwägung berücksichtigt werden, sind etwa die entstehenden Kosten, mögliche Alternativmethoden, die Sprache der Dokumente, die Verfügbarkeit von TAR-Experten sowie der Streitwert.
  • Eine große Hürde bei der Anwendung von TAR können Einwendungen der Gegenseite sein, die nicht auf die Zuverlässigkeit des Verfahrens vertraut. Zur Lösung dieses Problems empfiehlt Richter Peck, den TAR Prozess so transparent wie möglich zu gestalten. Idealerweise sollte der Rechtsbeistand die Training-Sets der Gegenseite zur Verfügung stellen, um die Vorgehensweise zur Abgrenzung relevanter und nichtrelevanter Dokumente zu erläutern und darzulegen, warum diese zutreffende Ergebnisse liefert. Wenn die Gegenseite ihre Zustimmung zur Vorgehensweise gibt, werden die Gerichte eher bereit sein, die Verwendung von TAR zu gestatten. Es besteht jedoch weder in den USA noch in Großbritannien eine gesetzliche Verpflichtung, die Dokumente des Training-Sets offenzulegen.
  • Das Ziel der Verwendung von TAR ist nicht, perfekte Ergebnisse zu erzielen, da das Gesetz dies nicht erfordert und auch ein manueller Review perfekte Ergebnisse nicht garantieren kann. Ziel ist es hingegen, bessere Ergebnisse als bei einer rein manuellen Bearbeitung zu erhalten und diese möglichst mit geringeren Kosten zu erreichen.
  • TAR ist eine Symbiose zwischen den Fähigkeiten von Mensch und Maschine und kein Ersatz menschlicher Fähigkeiten. TAR ist abhängig von menschlicher Beurteilung für die Erstellung des Algorithmus. Ohne dieses menschliche Urteil, Wissen und Erfahrung kann die Technologie weder die richtige Kategorisierung noch geeignete Vorschläge liefern.
  • Es ist ratsam, im Laufe des Verfahrens Predictive-Coding-Experten einzusetzen, die auch während des Gerichtsverfahrens verfügbar sind, falls das Gericht oder die Gegenseite Fragen oder Einwände hat.

Warum ist TAR auch im zivilrechtlichen Umfeld sinnvoll?

Discovery ist keine gesetzliche Verpflichtung in zivilrechtlichen Ländern wie etwa Deutschland. Dennoch können auch im Zivilrechtssystem Anwaltskanzleien oder Rechtsabteilungen TAR bei internen oder regulatorischen Untersuchungen, Schiedsverfahren und Rechtsstreitigkeiten nutzen. Obwohl nach einer Umfrage des Anbieters Kroll Ontrack aus dem Jahr 2015 60% der befragten deutschen Unternehmen E-Discovery-Dienstleistungen für notwendig halten, setzen sowohl deutsche Anwaltskanzleien als auch Rechtsabteilungen von Unternehmen TAR deutlich seltener ein, als dies Kanzleien und Unternehmensrechtsabteilungen in den USA tun. Deswegen überrascht es nicht, dass ein Bedarf an Ausbildung im Umgang mit dieser Technologie, ihren Verfahren und Vorteilen besteht. Akzeptanz, Ausbildung und Erfahrung werden es Anwaltskanzleien und Rechtsabteilungen ermöglichen, Fälle zu identifizieren, die von TAR profitieren werden.

nadja.maria.wuertz@de.pwc.com

maranza.coetzee@de.pwc.com