christians
Erstellte Forenantworten
-
Beiträge
-
Hallo Frank,
vielen Dank fürs Teilen deiner Erfahrungen zum Setup. Zum Testen wollte ich mich ähnlich aufstellen – nachdem ich grobfahrlässig bei einer RTX 5090 (FE) für 2.399 EUR nicht zugegriffen habe … was ärgert mich das heute noch!
Deine rechtlichen Argumente sind nicht von der Hand zu weisen; auf die tiefergehende rechtliche Diskussion gehen wir hier mal nicht ein. RA-MICRO geht meines Wissens den Weg einer Anonymisierung. Ich habe das ebenfalls lokal per OpenRedact in einem Docker-Container auf meiner NAS umgesetzt.
Vielleicht findet Jens im Rahmen der verschiedenen Diskussionen hier im Forum noch Anregungen für die Implementierung entsprechender Funktionen direkt in „Ingo“.
Ich betreibe j-lawyer lokal auf einer Box; die Cloudkunden bekommen vermutlich (sehr wahrscheinlich) eine Vereinbarung, die die berufsrechtlichen Punkte abdeckt.
Viele Grüße
ChristianHallo zusammen,
weshalb wird denn überhaupt ein lokales Modell benötigt? Die Leistung würde meines Erachtens merklich hinter cloudbasierten Anwendungen zurückstehen. Den Wunsch nach Unabhängigkeit und Souveränität als Nutzer einer j-lawyer-Box kann ich dabei aber sehr gut nachvollziehen – ich betreibe selbst inklusive der NAS alles lokal, schon aus reinem Basteldrang.
Genau dieser Basteldrang lässt mich allerdings auch stutzen: Gerade AMD-Grafikkarten haben, sofern ich es richtig verfolgt habe, durchaus ihre Schwächen in der Inferenz.
Soll das lokale Modell dennoch auf das Web oder bestimmte Ressourcen zugreifen? Und willst du es dann selbst trainieren? Ein derzeit sehr interessantes Projekt in diese Richtung:
https://github.com/Klotzkette/claude-fuer-deutsches-rechtGruß,
ChristianWar komplett mein Fehler. Mir ist damals mein Server im Keller abgeraucht und ich hatte daraufhin (übergangsweise) JLawyer auf meinem Gaming-PC installiert, habe allerdings vorgenannten Schritt vergessen. Beim jetzigen Umzug habe ich alles in KeePassXC hinterlegt.
