Zum Inhalt
CoVince logoCoVinceEuropäische Alternative Zurück zur europäischen Alternative
KI

Lokale KI-Modelle auf dem eigenen Rechner

CoVince11. November 20264 Min. Lesezeit

Eine IT-Ingenieurin richtet an ihrem Schreibtisch eine kompakte Workstation ein. Ablauf: Eigene Hardware, Lokales Modell, Daten bleiben hier.

Lokale KI-Modelle auf dem eigenen Rechner laufen auf Ihrem Computer, sodass Frage und Daten Ihr Gerät nicht verlassen. Das passt zu sehr sensiblen Informationen. Dafür sind lokale Modelle kleiner und langsamer als die größten Cloud-Modelle. CoVince kann mit einem solchen lokalen Modell arbeiten, neben europäischen Cloud-Modellen.

Was ein lokales Modell ist

Offene Modelle (zum Beispiel im GGUF-Format) lassen sich auf einem gewöhnlichen Arbeitsplatz herunterladen und betreiben. Es geht kein Text an einen externen Anbieter. Für Ärztinnen, Juristen oder Forschende mit sehr sensiblen Texten ist das ein starkes Argument: Die Frage bleibt auf dem Gerät, es gibt also keinen Anbieter, der den Text einsehen, speichern oder an eine ausländische Behörde herausgeben müsste.

Detail eines KPI: Verlauf pro Woche gegen das Ziel
Echter CoVince-Bildschirm mit Demodaten (Meridiaan B.V.).

Die Grenzen

  • Qualität: Kleine Modelle schneiden bei schwierigen Aufgaben schlechter ab als die größten Cloud-Modelle.
  • Geschwindigkeit und Speicher: Das hängt von Ihrer Hardware ab, und große Modelle brauchen viel Arbeitsspeicher.
  • Pflege: Sie müssen Modelle selbst aktuell halten.
  • Sprache: Prüfen Sie, wie gut das Modell Ihre Sprache beherrscht, vor allem Ihre Fachsprache.
  • Ein Gerät: Was lokal läuft, steht nicht automatisch Ihrem ganzen Team zur Verfügung.

Wie CoVince damit arbeitet

Die CrewMate kann ein Modell nutzen, das auf Ihrem eigenen Rechner läuft. CoVince bietet dafür eine Liste von Modellen an, darunter kleine offene Modelle, und schickt die Frage an das lokale Modell statt an einen Clouddienst. Bei den Fragen, die Sie lokal halten, verlässt der Text Ihr Gerät also nicht. Möchten Sie für andere Aufgaben ein europäisches Cloud-Modell, wählen Sie es in der Modellauswahl, siehe europäische KI-Modelle.

Wann wählen Sie lokal?

SituationWahl
Sehr sensibler Text, einfache AufgabeLokales Modell
Sensibler Text, komplexe AufgabeIn der EU gehostetes Modell, siehe europäische Modelle
Nicht sensibel, hohe Qualität nötigLeistungsstarkes Cloud-Modell

So verbinden Sie Souveränität und Qualität pro Aufgabe. Lesen Sie auch über die Alternative zu Copilot.

Ein Beispiel: eine kleine Kanzlei für Arbeitsrecht

Stellen Sie sich eine fiktive Kanzlei mit vier Juristen vor, die Akten zusammenfassen und Briefentwürfe vorschlagen lassen möchte. Die Akten enthalten Gesundheitsdaten und Streitigkeiten, daher soll dieser Text keinen externen Anbieter erreichen. Die Partner beginnen mit einem lokalen Modell auf zwei leistungsstarken Laptops und lassen es nur mit Zusammenfassungen bereits anonymisierter Dokumente arbeiten. Die Qualität der ersten Briefentwürfe schwankt, daher geht diese Aufgabe vorerst nicht an das lokale Modell. Die Zusammenfassungen taugen gut genug als Ausgangspunkt. Die Kanzlei muss also nicht alles oder nichts wählen: Das lokale Modell bekommt die Aufgabe, für die es stark genug ist.

So machen Sie einen einwöchigen Test

  1. Wählen Sie eine Aufgabe mit sensiblem Text, die nicht zu schwierig ist, etwa Zusammenfassen oder Text bereinigen.
  2. Wählen Sie ein kleines offenes Modell und sehen Sie, was Ihr Gerät schafft; beginnen Sie klein.
  3. Lassen Sie zwei Kolleginnen oder Kollegen dieselben zehn Beispiele verarbeiten und bewerten.
  4. Notieren Sie Geschwindigkeit, Speicherbedarf und die Fehler, die Sie sehen, auch in Ihrer Sprache.
  5. Entscheiden Sie nach einer Woche: behalten, ein größeres Modell probieren oder die Aufgabe auf ein europäisches Cloud-Modell verlagern.

Checkliste

  • Ist der Text wirklich so sensibel, dass sich der lokale Betrieb lohnt?
  • Hat das Gerät genug Arbeitsspeicher für das gewählte Modell?
  • Wer pflegt das Modell und aktualisiert es?
  • Steht fest, welche Aufgaben lokal laufen und welche nicht?
  • Wissen die Kolleginnen und Kollegen, dass ein lokales Modell Fehler machen kann und sie das Ergebnis prüfen?

Häufige Fehler

Der erste Fehler ist die Erwartung, ein kleines Modell leiste dasselbe wie das größte Cloud-Modell. Der zweite ist lokaler Betrieb ohne Pflege: Ein veraltetes Modell auf einem Laptop, den niemand betreut, ist keine Strategie. Der dritte ist der Glaube, lokal löse alles. Ein verlorenes Gerät oder ein Arbeitsplatz ohne Verschlüsselung bleibt ein Risiko, und die Organisation bleibt für die Daten, die sie verarbeitet, selbst verantwortlich. Lesen Sie auch Schrems II zur Frage, wann Daten überhaupt an einen Anbieter außerhalb der EU gehen dürfen.

Pflege: Wer hält es aktuell?

Ein lokales Modell ist Software, die Sie selbst installieren. Vereinbaren Sie daher, wer neue Versionen testet, wer entscheidet, welches Modell auf welche Geräte kommt, und was passiert, wenn jemand das Unternehmen verlässt oder ein Laptop verschwindet. Eine kurze Liste mit Geräten und Modellen genügt meist. Ohne diese Absprache entsteht Schatten-IT: Jeder betreibt etwas anderes, und niemand weiß, was wo geschehen ist.

Ein Rückfallweg

Lokaler Betrieb ist kein Grund, alle anderen Optionen aufzugeben. Halten Sie ein europäisches Cloud-Modell in Reserve für Aufgaben, die sich als zu schwer erweisen, damit ein enttäuschender Test nicht zurück zu einem Modell führt, das Sie lieber nicht nutzen. Es geht um das richtige Werkzeug pro Aufgabe. Ein kleiner Test mit einer klaren Abschlussfrage, etwa „Ist das gut genug für unsere Zusammenfassungen?“, bringt mehr als eine lange Diskussion vorab, und Sie halten die Antwort für die nächste Kollegin fest, die dieselbe Frage stellt.

Kurz gesagt, und das ist der Kern dieses Abschnitts: Beginnen Sie klein, messen Sie, was Sie sehen, halten Sie fest, was lokal läuft und was nicht, und überprüfen Sie das, sobald sich Modelle oder Hardware ändern.

Häufig gestellte Fragen

Was ist ein lokales KI-Modell?

Ein Modell, das auf Ihrem eigenen Computer läuft, sodass Frage und Daten Ihr Gerät nicht verlassen.

Sind lokale Modelle so gut wie Cloud-Modelle?

Bei schwierigen Aufgaben meist nicht. Für einfache Aufgaben mit sensiblem Text reichen sie oft aus.

Kann CoVince mit einem lokalen Modell arbeiten?

Ja, die CrewMate kann ein Modell nutzen, das auf Ihrem eigenen Rechner läuft.

Was brauche ich dafür?

Einen Computer mit genügend Arbeitsspeicher und ein passendes offenes Modell. Was realistisch ist, hängt von Ihrer Hardware ab.

Braucht es dann keinen Auftragsverarbeitungsvertrag?

Bei einem Modell, das vollständig auf Ihrem Gerät läuft, geht der Text nicht an einen externen Anbieter. Für die Sicherheit des Geräts und der Daten bleiben Sie selbst verantwortlich.

Kann ich lokale und europäische Cloud-Modelle kombinieren?

Ja. Sie entscheiden pro Aufgabe: sehr sensible einfache Aufgaben lokal, komplexe Aufgaben auf einem europäischen Cloud-Modell.