Naar de inhoud
CoVince logoCoVinceEuropees alternatief Terug naar het Europese alternatief
AI

Lokale AI-modellen op je eigen machine

CoVince11 november 20264 minuten lezen

Een IT-engineer richt een compact werkstation in aan haar bureau. Stroom: Eigen hardware, Lokaal model, Data blijft hier.

Lokale AI-modellen op je eigen machine draaien op je eigen computer, zodat de vraag en de data je apparaat niet verlaten. Dat past bij zeer gevoelige informatie. In ruil daarvoor zijn lokale modellen kleiner en trager dan de grootste cloudmodellen. CoVince kan met zo'n lokaal model werken, naast Europese cloudmodellen.

Wat een lokaal model is

Open modellen (bijvoorbeeld in GGUF-formaat) kun je op een gewone werkplek downloaden en draaien. Er gaat geen tekst naar een externe aanbieder. Voor een zorgverlener, jurist of onderzoeker met zeer gevoelige tekst is dat een sterk argument: de vraag blijft op het apparaat, dus er is geen aanbieder die de tekst kan inzien, bewaren of aan een buitenlandse autoriteit hoeft te overhandigen.

Detail van een KPI: verloop per week tegen het doel
Echt CoVince-scherm met demodata (Meridiaan B.V.).

De beperkingen

  • Kwaliteit: kleine modellen presteren minder goed op lastige taken dan de grootste cloudmodellen.
  • Snelheid en geheugen: het hangt af van je hardware, en grote modellen vragen veel geheugen.
  • Beheer: je moet modellen zelf bijhouden en updaten.
  • Taal: controleer hoe goed het model Nederlands spreekt, en vooral je vaktaal.
  • Eén apparaat: wat lokaal draait, is niet automatisch beschikbaar voor je hele team.

Hoe CoVince ermee werkt

De CrewMate kan een model gebruiken dat op je eigen machine draait. CoVince biedt daarvoor een lijst met modellen aan, waaronder kleine open modellen, en stuurt de vraag naar het lokale model in plaats van naar een clouddienst. Voor de vragen die je lokaal houdt, verlaat de tekst je apparaat dus niet. Wil je voor andere taken een Europees cloudmodel, dan kies je dat in de modelkeuze, zie Europese AI-modellen.

Wanneer kies je lokaal?

SituatieKeuze
Zeer gevoelige tekst, eenvoudige taakLokaal model
Gevoelige tekst, complexe taakIn de EU gehost model, zie Europese modellen
Niet-gevoelig, hoge kwaliteit nodigKrachtig cloudmodel

Zo combineer je soevereiniteit en kwaliteit per taak. Lees ook over het alternatief voor Copilot.

Een voorbeeld: een kleine praktijk voor arbeidsrecht

Stel, een fictief advocatenkantoor met vier juristen wil dossiers laten samenvatten en conceptbrieven laten voorstellen. De dossiers bevatten gegevens over gezondheid en conflicten, dus de partners willen niet dat die tekst een externe aanbieder bereikt. Ze beginnen met een lokaal model op twee krachtige laptops en laten het alleen werken aan samenvattingen van documenten die al anoniem zijn gemaakt. De kwaliteit van de eerste conceptbrieven blijkt wisselend, dus die taak gaat voorlopig niet naar het lokale model. De samenvattingen werken wel goed genoeg om als startpunt te dienen. Zo hoeft het kantoor niet alles of niets te kiezen: het lokale model krijgt de taak waarvoor het sterk genoeg is.

Zo doe je een proef van een week

  1. Kies één taak met gevoelige tekst die niet te lastig is, zoals samenvatten of een tekst opschonen.
  2. Kies een klein open model en kijk wat je apparaat aankan; begin klein.
  3. Laat twee collega's dezelfde tien voorbeelden verwerken en beoordelen.
  4. Noteer snelheid, geheugengebruik en de fouten die je ziet, ook in het Nederlands.
  5. Besluit na een week: houden, een groter model proberen of de taak naar een Europees cloudmodel verplaatsen.

Checklist

  • Is de tekst echt zo gevoelig dat lokaal draaien de moeite waard is?
  • Heeft het apparaat genoeg geheugen voor het gekozen model?
  • Wie houdt het model bij en werkt het bij?
  • Staat vast welke taken wel en niet lokaal gaan?
  • Weten collega's dat een lokaal model fouten kan maken en dat ze het resultaat nalopen?

Veelgemaakte fouten

De eerste fout is verwachten dat een klein model hetzelfde doet als het grootste cloudmodel. De tweede is lokaal draaien zonder te beheren: een verouderd model op een laptop die niemand bijhoudt is geen beleid. De derde is denken dat lokaal alles oplost. Een apparaat dat verloren gaat of een werkplek zonder versleuteling is nog altijd een risico, en de organisatie blijft zelf verantwoordelijk voor de gegevens die ze verwerkt. Zie ook Schrems II voor de vraag wanneer data ooit naar een aanbieder buiten de EU mag.

Beheer: wie houdt het bij?

Een lokaal model is een stuk software dat je zelf installeert. Spreek daarom af wie nieuwe versies test, wie bepaalt welk model op welke apparaten staat en wat er gebeurt als een medewerker vertrekt of een laptop verdwijnt. Een korte lijst met apparaten en modellen is meestal genoeg. Zonder die afspraak ontstaat schaduw-IT: iedereen draait iets anders, en niemand weet wat waar is gebeurd.

Een terugvalroute

Lokaal draaien is geen reden om alle andere opties los te laten. Houd een Europees cloudmodel achter de hand voor taken die te zwaar blijken, zodat een teleurstellende proef niet leidt tot terugkeren naar een model dat je liever niet gebruikt. Het gaat om het juiste gereedschap per taak. Een kleine proef met een duidelijke eindvraag, bijvoorbeeld "is dit goed genoeg voor onze samenvattingen?", levert meer op dan een lange discussie vooraf, en je legt het antwoord vast voor de volgende collega die dezelfde vraag stelt.

Samengevat: begin klein, meet wat je ziet, leg vast wat lokaal gaat en wat niet, en herzie dat zodra de modellen of je hardware veranderen.

Veelgestelde vragen

Wat is een lokaal AI-model?

Een model dat op je eigen computer draait, zodat de vraag en de data je apparaat niet verlaten.

Zijn lokale modellen even goed als cloudmodellen?

Meestal niet voor lastige taken. Voor eenvoudige taken met gevoelige tekst zijn ze vaak goed genoeg.

Kan CoVince met een lokaal model werken?

Ja, de CrewMate kan een model gebruiken dat op je eigen machine draait.

Wat heb ik nodig?

Een computer met voldoende geheugen en een geschikt open model. Wat realistisch is, hangt af van je hardware.

Hoeft er dan geen verwerkersovereenkomst?

Voor een model dat volledig op je eigen apparaat draait, gaat de tekst niet naar een externe aanbieder. Je blijft zelf verantwoordelijk voor de beveiliging van het apparaat en de gegevens.

Kan ik lokaal en Europese cloudmodellen combineren?

Ja. Je kiest per taak: zeer gevoelige eenvoudige taken lokaal, complexe taken op een Europees cloudmodel.