Anbindung eines eigenen OpenAI-kompatiblen LLM-Endpunkts

Sehr geehrter Herr Kutschke,

ich nutze j-lawyer seit längerer Zeit in meiner Kanzlei und beschäftige mich derzeit intensiver mit der Nutzung der neuen KI-Funktionen.

Parallel baue ich für meine Kanzlei gerade eine eigene KI-Umgebung auf. Hintergrund ist insbesondere, dass ich bei der Verarbeitung von Mandatsdaten möglichst genau kontrollieren möchte, welche Daten wohin übertragen und dort verarbeitet werden.

Als LLM-Anbieter möchte ich voraussichtlich STACKIT AI Model Serving einsetzen. STACKIT stellt hierfür eine OpenAI-kompatible API zur Verfügung. Als zusätzliche Oberfläche teste ich derzeit Open WebUI; Dokumentenaufbereitung, RAG und Embeddings sollen dabei möglichst innerhalb der von mir kontrollierten Umgebung erfolgen.

Für mich wäre es nun ausgesprochen interessant, diese Infrastruktur auch unmittelbar aus j-lawyer heraus nutzen zu können. Gerade die Integration der KI-Funktionen in die elektronische Akte halte ich für wesentlich sinnvoller, als Dokumente zunächst aus j-lawyer exportieren und anschließend in einer separaten KI-Oberfläche verarbeiten zu müssen.

Soweit ich die derzeitige Konfiguration von j-lawyer verstanden habe, können zwar verschiedene externe LLM-Anbieter mit eigenen API-Zugangsdaten verwendet werden. Eine Möglichkeit, einen beliebigen OpenAI-kompatiblen Endpunkt selbst zu konfigurieren, scheint es derzeit aber noch nicht zu geben.

Wäre es denkbar, bei den externen LLMs einen generischen „OpenAI-kompatiblen“ Provider vorzusehen, bei dem der Anwender im Wesentlichen

– die Base-URL,
– den API-Key und
– die Modell-ID

selbst hinterlegen kann?

In meinem konkreten Fall würde darüber STACKIT angebunden. Die Funktion wäre aber natürlich nicht auf STACKIT beschränkt, sondern könnte grundsätzlich auch für andere Anbieter oder selbst betriebene OpenAI-kompatible Endpunkte verwendet werden.

Besonders interessant wäre für mich, wenn die bereits vorhandenen j-lawyer-KI-Funktionen – also insbesondere die Arbeit mit Akten und Dokumenten sowie eigene Prompts – anschließend genauso mit einem solchen Modell genutzt werden könnten wie mit den derzeit bereits unterstützten Fremdmodellen.

Falls eine solche Möglichkeit bereits besteht und ich sie lediglich übersehen habe, wäre ich für einen kurzen Hinweis dankbar. Anderenfalls würde mich interessieren, ob eine generische OpenAI-kompatible Schnittstelle etwas wäre, das Sie sich für eine der kommenden Versionen grundsätzlich vorstellen könnten.

Gern würde ich eine solche Implementierung bei Bedarf auch mit meiner Installation testen. Einen entsprechenden STACKIT-Zugang werde ich ohnehin für meine eigene KI-Umgebung einrichten.

Mit freundlichen Grüßen

Robert Rogge
Rechtsanwalt