Hallo,
zunächst meine Anregung/Anfrage:
Ich möchte j-lawyer lokal nutzen und auch den KI-Assistenten an meinen lokalen llm-stack anschließen (vorzugsweise open-ai Schnittstelle über ollama). Die Hardware ist vorhanden (2* r9700pro 64GB vram).
Theoretisch müsste das über einen einfachen Konfigurations-Eintrag beim KI-Assistenten möglich sein, so dass er nicht den „Ingo“ anfragt, sondern auf eine (frei konfigurierbare) IP-Adresse bzw. Schnittstelle im lokalen Netz zugreift.
Ginge das?
An dieser Stelle: Klasse Projekt!
Viele Grüße
Frank Naumann