Lokale KI — wenn das Modell im Haus bleibt
Nicht jede KI läuft in der Cloud. Diese Lektion zeigt, was „lokale KI" bedeutet, warum sie für den Datenschutz interessant ist und wann sie sich im Arbeitsalltag lohnt — auch wenn sie nicht so leistungsstark ist wie die großen Online-Modelle.
Nach dieser Lektion können Sie …
- erklären, was lokale KI ist,
- ihre Vor- und Nachteile benennen,
- einschätzen, wann sie sich eignet,
- im Alltag richtig damit umgehen.
Wenn die Daten gar nicht erst hinausgehen
Erinnern Sie sich an das Kernproblem der Schatten-KI (Lektion 6 und 7): Sobald Sie etwas in ein öffentliches KI-Werkzeug eingeben, verlassen die Daten das Unternehmen. Es gibt eine Variante von KI, bei der genau das nicht passiert — weil das Modell auf dem eigenen Rechner oder Firmenserver läuft. Das ist lokale KI, und für viele Alltagsaufgaben ist sie die klügere Wahl.
Was lokale KI ist
Die kurze Präsentation zeigt, wo ein lokales KI-Modell läuft — und warum Fachleute sie „privat per Bauweise" nennen.
Zum Nachlesen: der Text der Präsentation
Ein lokales KI-Modell läuft vollständig auf eigener Hardware — auf einem Firmenserver, manchmal sogar auf einem gut ausgestatteten Laptop. Ihre Eingaben, Dokumente und Ergebnisse bleiben dabei auf dem Gerät und gelangen nicht zu einem externen Anbieter.
Fachleute sagen: Cloud-KI ist „privat per Richtlinie", lokale KI ist „privat per Bauweise". Eine Richtlinie kann sich ändern; die Bauweise nicht.
Das gilt allerdings nur, solange das Modell tatsächlich rein lokal betrieben wird — ohne Anbindung an externe Dienste, etwa eine Ausweichfunktion in die Cloud oder Erweiterungen, die Daten nach außen senden. Auch die „Bauweise" ist eine Einrichtung, die jemand festlegt; darüber entscheidet die IT.
Was es dafür braucht
Möglich wird das durch frei verfügbare Modelle — bekannt sind etwa Llama (Meta), Mistral oder Qwen — die mit Werkzeugen wie Ollama einfach betrieben werden können.
Sie müssen das nicht selbst einrichten; wichtig ist, dass Sie wissen, dass es diese Möglichkeit gibt. Eigenmächtig einrichten sollten Sie es auch nicht: Ein lokales Modell, das ohne Freigabe auf einem Dienstrechner installiert wird, ist selbst Schatten-IT (Lektion 6). Nutzen Sie nur freigegebene lokale Lösungen.
Die Vorteile — und die Grenzen
Lokale KI hält die Daten im Haus, hat aber auch Grenzen. Die Präsentation stellt beides nebeneinander.
Zum Nachlesen: Vorteile und Grenzen im Einzelnen
Die Vorteile
- Datenschutz per Bauweise: Die Daten verlassen das Haus nicht — kein Drittlandtransfer, kein fremder Server. Damit entfallen die Weitergabe an einen fremden Anbieter und der Drittlandtransfer, zwei der Risiken aus den Schatten-KI-Lektionen.
- Keine laufenden Nutzungskosten: Es fallen keine Gebühren pro Anfrage an (dafür kosten Anschaffung und Betrieb der Hardware).
- Offline nutzbar: Lokale KI funktioniert auch ohne Internet — nützlich in abgeschotteten Umgebungen.
Die Grenzen
- Weniger leistungsfähig: Lokale Modelle erreichen meist nicht ganz die Spitzenqualität der großen Online-Modelle — für viele Standardaufgaben genügen sie aber problemlos.
- Hardware nötig: Es braucht ausreichend leistungsfähige Rechner; das ist Sache der IT.
Wichtig dabei: Regelfrei ist lokale KI nicht. Die DSGVO und die Regeln Ihres Unternehmens gelten weiter.
Lokal heißt nicht regelfrei
Auch bei lokaler KI gilt die DSGVO, sobald personenbezogene Daten verarbeitet werden: Die Verarbeitung braucht eine Rechtsgrundlage (Art. 6, bei besonderen Kategorien personenbezogener Daten wie Gesundheitsdaten zusätzlich Art. 9), Zweckbindung und Datenminimierung gelten (Art. 5), und die Daten müssen vor unbefugtem Zugriff geschützt sein (Art. 32; zu den DSGVO-Grundlagen Lektion 5). Dazu kommen die Regeln Ihres Unternehmens. Lokale KI ist also nicht automatisch datenschutzkonform — sie nimmt nur die Weitergabe an Dritte aus dem Spiel.
Stimmt das?
Fünf Aussagen über lokale KI. Welche treffen zu?
„Lokale KI ist kostenlos."
„Lokale KI braucht eine Internetverbindung."
„Läuft das Modell rein lokal, gelangen meine Eingaben nicht zu einem externen Anbieter."
„Lokale Modelle sind genauso leistungsstark wie die großen Online-Modelle."
„Lokal darf ich alle Daten eingeben — die DSGVO spielt dort keine Rolle."
Wann sich lokale KI lohnt
Als Faustregel:je vertraulicher die Daten, desto eher lokal.
Konkret sinnvoll ist lokale KI vor allem für
- vertrauliche Inhalte — Personal-, Kunden- oder Vertragsdaten, interne Dokumente;
- wiederkehrende Standardaufgaben — Texte zusammenfassen, formulieren, intern übersetzen, Entwürfe erstellen;
- Situationen, in denen keine absolute Spitzenleistung nötig ist.
Für sehr anspruchsvolle Aufgaben kann weiterhin ein leistungsstarkes Online-Modell die bessere Wahl sein — dann aber nur über ein freigegebenes, vertraglich abgesichertes Werkzeug, nur mit den Daten, für die es freigegeben ist, nur so viel, wie die Aufgabe erfordert, und nach den Regeln Ihres Unternehmens. Besondere Kategorien personenbezogener Daten (Art. 9 DSGVO), etwa Gesundheitsdaten, gehören nur hinein, wenn das ausdrücklich erlaubt ist (Lektion 5 bis 7).
Ordnen Sie ein: lokal oder online?
Ihr Unternehmen bietet beides an — eine lokale KI und ein Online-Modell, das für allgemeine Aufgaben freigegeben ist, nicht aber eigens für Kunden-, Vertrags- oder Personaldaten. Welches Werkzeug passt zur Aufgabe?
Sie lassen die Notizen aus einem Personalgespräch zusammenfassen.
Ein Kundenvertrag soll für die interne Abstimmung übersetzt werden.
Eine sehr anspruchsvolle Auswertung öffentlich zugänglicher Informationen — ganz ohne personenbezogene oder vertrauliche Daten.
Eine sehr anspruchsvolle Auswertung, in der Kundendaten stecken.
Sie brauchen einen ersten Entwurf für eine interne Rundmail.
Kernbotschaft
Lokale KI ist der eingebaute Schutz vor Weitergabe: Was das Haus nicht verlässt, kann auch nicht bei einem fremden Anbieter landen. Vor Angriffen, Insidern oder falsch vergebenen Berechtigungen schützt sie nicht von selbst — dafür sorgen die IT und die Regeln Ihres Unternehmens. Fragen Sie, ob Ihr Unternehmen eine lokale Lösung anbietet — und nutzen Sie sie bevorzugt für alles Vertrauliche.
Das nehmen Sie mit
- Lokale KI läuft auf eigener Hardware; Daten bleiben im Haus („privat per Bauweise").
- Lokal heißt nicht regelfrei: DSGVO und Unternehmensregeln gelten weiter; nur freigegebene lokale Lösungen nutzen.
- Vorteile: Datenschutz, keine Nutzungsgebühren pro Anfrage, offline nutzbar.
- Grenzen: geringere Spitzenleistung, Hardware erforderlich.
- Besonders geeignet für vertrauliche Daten und wiederkehrende Standardaufgaben; für Höchstleistung ggf. freigegebene, vertraglich abgesicherte Online-Modelle — nur mit den Daten, für die sie freigegeben sind.
Sitzt das Wichtigste?
Der Wissenscheck ist freiwillig und nur für Sie gedacht. Ihre Antworten werden weder gespeichert noch bewertet, und niemand sonst bekommt sie zu sehen. Wenn Sie ein paar Minuten übrig haben, prüfen Sie hier, ob die Kernpunkte der Lektion angekommen sind.
Wissenschecksechs Fragen · wenige Minuten
Wählen Sie je Frage eine Antwort. Die Rückmeldung erklärt, was hinter jeder Option steckt.
Quellen
- Lokale LLMs, Datenschutz „by architecture", Werkzeuge (Ollama) und Modelle (Llama, Mistral, Qwen): digitalapplied — Local LLM Deployment Guide · daily.dev — Running LLMs Locally
- Datensouveränität/Compliance durch lokale Ausführung: rapsols — Running Local LLMs Privately
- Datenschutz-Grundverordnung (EU) 2016/679, Art. 5, 6, 9 und 32: EUR-Lex — DSGVO
