Selbst gehostetes Rechts-LLM für vertrauliche Mandate
Ein On-Prem-Legal-LLM mit offenen Gewichten, jurisdiktionsspezifischen Adaptern und Zitatprüfung für Kanzleien, die vertrauliche Akten nicht an Clouds in den USA oder China senden dürfen.
I want to build a venture-scale product. Help me plan and start the MVP.
Product: Self-hosted legal LLM for privileged matters
What it is: On-prem, open-weight legal LLM with jurisdiction adapters and citation verification for firms that can't send privileged files to US or Chinese clouds.
Who pays: Managing partners and GCs at 50–500 lawyer firms and regulated in-house teams handling sensitive matters; $2k–10k/mo per firm from the legal-tech/security budget
Closest alternatives: Harvey, CoCounsel (Thomson Reuters), Spellbook, self-hosted Llama/Qwen via vLLM
The gap: Harvey/CoCounsel are closed SaaS on US foundation labs whose usage policies explicitly allow judgment-based disclosure and require human-in-the-loop; consumer labs (Anthropic, OpenAI) and Chinese labs (Z.ai) are both disqualified for sensitive matters. No vendor ships an open-weight legal model with on-prem deployment, jurisdiction adapters and a clean data-provenance audit story aimed at firms.
Why now: Within the last year Anthropic formalized a policy allowing it to share user files with third parties when legal rights are affected, and Z.ai's workspace-snapshotting scandal plus the closed Chinese-model release made data sovereignty a live buying criterion rather than a theoretical concern.
Moat to build toward: Jurisdiction-specific adapter packs and citation-verification corpora compound with usage; trust/audit certification (SOC2, bar-association endorsements) is slow to copy.
Ein fertiges Briefing für Claude Code, Cursor oder jeden anderen Coding-Agenten (auf Englisch).
Was dafür spricht
- EX.1Z.ai wurde beim Snapshotting ganzer Workspaces erwischt. Die Frage lautet, wie man einem Legal-Produkt eines Unternehmens vertrauen soll, das Datenschutzrecht ignoriert.Kommentar lesen ↗
- EX.2Die Human-in-the-loop- und Datenweitergabe-Richtlinie von Anthropic wird als gefährlich für Parteien in Familienrechtsfällen beschrieben, deren Akten der Gegenseite offenliegen könnten.Kommentar lesen ↗
- EX.3Das Modell ist geschlossen und wird in China gehostet. Vertrauliche Rechtsdaten von Nutzern aus den USA und der EU werden damit in einer gegnerischen Jurisdiktion verarbeitet, ohne Auslieferungsmöglichkeit.Kommentar lesen ↗
Im letzten Jahr hat Anthropic eine Richtlinie formalisiert, nach der Nutzerdateien an Dritte weitergegeben werden dürfen, wenn Rechte aus dem Recht betroffen sind. Der Z.ai-Skandal um das Snapshotting ganzer Workspaces und die Veröffentlichung eines geschlossenen chinesischen Modells haben Datensouveränität zu einem konkreten Kaufkriterium gemacht statt zu einem theoretischen Anliegen.
Was dagegen spricht
Datensouveränität ist für Harvey, Anthropic und Z.ai bei vertraulichen Mandaten zum harten Ausschlusskriterium geworden. Ein On-Prem-Legal-Modell mit offenen Gewichten und Jurisdiktionspaketen ist deshalb eine echte offene Position. Die Umsetzung ist riskant, aber kein Incumbent hat sie bereits besetzt.
Jurisdiktionsspezifische Adapterpakete und Korpora zur Zitatprüfung wachsen mit der Nutzung. Vertrauens- und Auditzertifizierungen wie SOC 2 oder Empfehlungen von Anwaltskammern sind langsam zu kopieren.
Harvey und CoCounsel sind geschlossene SaaS-Produkte auf Basis US-amerikanischer Foundation-Labs, deren Nutzungsbedingungen eine urteilsbasierte Offenlegung ausdrücklich erlauben und Human-in-the-loop verlangen. Verbraucherorientierte Labs wie Anthropic und OpenAI sowie chinesische Labs wie Z.ai scheiden für sensible Mandate aus. Kein Anbieter liefert ein Legal-Modell mit offenen Gewichten, On-Prem-Betrieb, jurisdiktionsspezifischen Adaptern und einer sauberen Herkunftsprüfung der Daten, das gezielt auf Kanzleien zugeschnitten ist.
In 3 Schritten bauen
- 1Ein Basismodell mit offenen Gewichten (Qwen oder Llama) mit Legal-Adaptern für zwei Jurisdiktionen feinabstimmen und ein On-Prem-Docker-Deployment ausliefern
- 2Eine Schicht zur Zitatprüfung bauen, die jedes zitierte Urteil und jede Norm gegen offizielle Quellen abgleicht und nicht verifizierbare Ausgaben blockiert
- 3Bezahlte Pilotprojekte mit 3 mittelgroßen Kanzleien auf deren üblichen Vertrags- und Gutachten-Workflows durchführen und die eingesparte Prüfzeit der Anwälte messen
Aus dem Englischen übersetzt. Original lesen