fnaumann@naumann-ra.de
Erstellte Forenantworten
-
Beiträge
-
Hallo Christian,
danke für das weitere feedback. 32GB VRAM sind nach meiner Erfahrung zu wenig, um die mittleren open-source-Modelle mit 262k Conext-Window laufen zu lassen, mit 64GB geht es recht gut ;-).
Übrigens, man kann in openclaw die plugins für claude einfach importieren. Ich habe einige aus dem „claude für deutscher Recht“-Projekt darin lokal laufen (openclaw in einer virtuellen lokalen Maschine, ollama lokal für die Modelle). Geschwindigkeit ist ausreichend (je nach Model zw. 70 t/s und 20 t/s output). Ergebnisse sind absolut brauchbar, bspw. mit den qwen3.6 Modellen.
Können uns gern mal persönlich über das setup austauschen.
VG
FrankHallo,
die aktuellen AMD R9700 Pro „Grafikkarten“ sind auf den Prosumer-Markt ausgerichtete Workstation-Karten mit 32GB VRAM und 640GB/s Speicherbandbreite. Sie sind recht gut skalierbar, habe zwei davon laufen, so wie hier: https://www.youtube.com/watch?v=dgyqBUD71lg
Das Ganze bringt 64GB VRAM und eine vertretbare Performance (ja, AMD arbeitet an der KI-Anbindung, hat aber inzwischen stark aufgeholt, siehe bspw. Benchmarks zu dem o.g. Video). Ich arbeite aktuell damit, bspw. mit qwen3.6:27b_Q8_0 qwen3.6:35_Q8_0, qwen-coder-next (80b), gpt-oss:120b, den gemma4 Modellen und translategemma (super zum Übersetzen). Die Geschwindigkeit fühlt sich OK bis gut an.
Vorteil ist natürlich, dass es rechtlich sehr viel einfacher ist, alles lokal zu betreiben. Daher hätte ich Interesse daran, auch die KI im j-lawyer an eine lokal Installation von KI-Modellen anzubinden.
Und ja, das „claude für deutscher Recht“-Projekt ist sehr interessant. Danke.
Viele Grüße
FrankHallo,
Danke. Ich verstehe, dass der Ingo mehr ist als ein Modell. Er spricht, wenn ich es richtig verstehe, letztlich verschiedene llm an, bspw. qwen3.5 o.ä. Meine Frage wäre, ob es möglich ist, den Ingo lokal ausführen laufen zu lassen, so dass er dann auch auf lokale llm zurückgreifen kann.
Viele Grüße
Frank Naumann
