- This topic has 6 Antworten, 3 Stimmen, and was last updated vor 2 weeks, 4 days by
.
-
Beiträge
-
Hallo,
zunächst meine Anregung/Anfrage:
Ich möchte j-lawyer lokal nutzen und auch den KI-Assistenten an meinen lokalen llm-stack anschließen (vorzugsweise open-ai Schnittstelle über ollama). Die Hardware ist vorhanden (2* r9700pro 64GB vram).
Theoretisch müsste das über einen einfachen Konfigurations-Eintrag beim KI-Assistenten möglich sein, so dass er nicht den „Ingo“ anfragt, sondern auf eine (frei konfigurierbare) IP-Adresse bzw. Schnittstelle im lokalen Netz zugreift.
Ginge das?
An dieser Stelle: Klasse Projekt!
Viele Grüße
Frank NaumannHallo,
das wäre absolut weit entfernt von einer reinen Konfiguration – der Ingo besteht als Ollama, vLLM, verschiedenen Transkriptionsmodellen, mehreren Python-Anwendungen, verschiedenen Tools zur Datenextraktion und OCR.
Angesichts der Tatsache, dass nur wenige Kanzleien sich die notwendige Hardware leisten, wird eine lokale KI bis auf Weiteres nicht anbindbar sein.VG!
Jens / j-lawyer.orgHallo,
Danke. Ich verstehe, dass der Ingo mehr ist als ein Modell. Er spricht, wenn ich es richtig verstehe, letztlich verschiedene llm an, bspw. qwen3.5 o.ä. Meine Frage wäre, ob es möglich ist, den Ingo lokal ausführen laufen zu lassen, so dass er dann auch auf lokale llm zurückgreifen kann.
Viele Grüße
Frank NaumannHallo zusammen,
weshalb wird denn überhaupt ein lokales Modell benötigt? Die Leistung würde meines Erachtens merklich hinter cloudbasierten Anwendungen zurückstehen. Den Wunsch nach Unabhängigkeit und Souveränität als Nutzer einer j-lawyer-Box kann ich dabei aber sehr gut nachvollziehen – ich betreibe selbst inklusive der NAS alles lokal, schon aus reinem Basteldrang.
Genau dieser Basteldrang lässt mich allerdings auch stutzen: Gerade AMD-Grafikkarten haben, sofern ich es richtig verfolgt habe, durchaus ihre Schwächen in der Inferenz.
Soll das lokale Modell dennoch auf das Web oder bestimmte Ressourcen zugreifen? Und willst du es dann selbst trainieren? Ein derzeit sehr interessantes Projekt in diese Richtung:
https://github.com/Klotzkette/claude-fuer-deutsches-rechtGruß,
ChristianHallo,
die aktuellen AMD R9700 Pro „Grafikkarten“ sind auf den Prosumer-Markt ausgerichtete Workstation-Karten mit 32GB VRAM und 640GB/s Speicherbandbreite. Sie sind recht gut skalierbar, habe zwei davon laufen, so wie hier: https://www.youtube.com/watch?v=dgyqBUD71lg
Das Ganze bringt 64GB VRAM und eine vertretbare Performance (ja, AMD arbeitet an der KI-Anbindung, hat aber inzwischen stark aufgeholt, siehe bspw. Benchmarks zu dem o.g. Video). Ich arbeite aktuell damit, bspw. mit qwen3.6:27b_Q8_0 qwen3.6:35_Q8_0, qwen-coder-next (80b), gpt-oss:120b, den gemma4 Modellen und translategemma (super zum Übersetzen). Die Geschwindigkeit fühlt sich OK bis gut an.
Vorteil ist natürlich, dass es rechtlich sehr viel einfacher ist, alles lokal zu betreiben. Daher hätte ich Interesse daran, auch die KI im j-lawyer an eine lokal Installation von KI-Modellen anzubinden.
Und ja, das „claude für deutscher Recht“-Projekt ist sehr interessant. Danke.
Viele Grüße
FrankHallo Frank,
vielen Dank fürs Teilen deiner Erfahrungen zum Setup. Zum Testen wollte ich mich ähnlich aufstellen – nachdem ich grobfahrlässig bei einer RTX 5090 (FE) für 2.399 EUR nicht zugegriffen habe … was ärgert mich das heute noch!
Deine rechtlichen Argumente sind nicht von der Hand zu weisen; auf die tiefergehende rechtliche Diskussion gehen wir hier mal nicht ein. RA-MICRO geht meines Wissens den Weg einer Anonymisierung. Ich habe das ebenfalls lokal per OpenRedact in einem Docker-Container auf meiner NAS umgesetzt.
Vielleicht findet Jens im Rahmen der verschiedenen Diskussionen hier im Forum noch Anregungen für die Implementierung entsprechender Funktionen direkt in „Ingo“.
Ich betreibe j-lawyer lokal auf einer Box; die Cloudkunden bekommen vermutlich (sehr wahrscheinlich) eine Vereinbarung, die die berufsrechtlichen Punkte abdeckt.
Viele Grüße
ChristianHallo Christian,
danke für das weitere feedback. 32GB VRAM sind nach meiner Erfahrung zu wenig, um die mittleren open-source-Modelle mit 262k Conext-Window laufen zu lassen, mit 64GB geht es recht gut ;-).
Übrigens, man kann in openclaw die plugins für claude einfach importieren. Ich habe einige aus dem „claude für deutscher Recht“-Projekt darin lokal laufen (openclaw in einer virtuellen lokalen Maschine, ollama lokal für die Modelle). Geschwindigkeit ist ausreichend (je nach Model zw. 70 t/s und 20 t/s output). Ergebnisse sind absolut brauchbar, bspw. mit den qwen3.6 Modellen.
Können uns gern mal persönlich über das setup austauschen.
VG
Frank
- Du musst angemeldet sein, um zu diesem Thema eine Antwort verfassen zu können.