Homepage
  • karsten karsten
  • Date:   3. Juni 2026
  • Development

Betreibe einen lokalen KI Agenten

Warum lokale KI für Unternehmen immer wichtiger wird

Künstliche Intelligenz hat sich in den letzten Jahren von einer Zukunftstechnologie zu einem praktischen Werkzeug für Unternehmen entwickelt. Ob Kundenservice, Wissensmanagement, Dokumentenanalyse oder interne Prozessautomatisierung – KI kann Mitarbeiter entlasten und Arbeitsabläufe erheblich beschleunigen.

Viele Unternehmen stehen jedoch vor einem Problem: Die Nutzung von Cloud-KI-Diensten wie ChatGPT, Claude oder Gemini wirft datenschutzrechtliche Fragen auf. Sensible Kundendaten, Verträge, Personalinformationen oder interne Dokumente dürfen häufig nicht an externe Anbieter übertragen werden.

Eine interessante Alternative sind deshalb lokale KI-Agenten, die vollständig innerhalb des Unternehmensnetzwerks betrieben werden. Dadurch behalten Unternehmen die Kontrolle über ihre Daten und können gleichzeitig die Vorteile moderner KI-Technologien nutzen.

Was ist ein lokaler KI-Agent?

Ein lokaler KI-Agent ist eine künstliche Intelligenz, die auf eigener Hardware oder auf internen Servern betrieben wird. Die Daten verlassen dabei nicht das Unternehmensnetzwerk.

Typische Bestandteile sind:

  • Ein Large Language Model (LLM) wie Llama, Mistral oder Qwen
  • Eine Wissensdatenbank mit Unternehmensinformationen
  • Ein Dokumenten-Indexer für PDFs, Office-Dokumente oder Wikis
  • Eine Chat-Oberfläche für Mitarbeiter
  • Optional Schnittstellen zu ERP-, CRM- oder Warenwirtschaftssystemen

Dadurch entsteht ein digitaler Assistent, der Fragen beantworten, Dokumente analysieren oder interne Prozesse unterstützen kann.

DSGVO-Grundlagen für den KI-Einsatz

Die Datenschutz-Grundverordnung (DSGVO) verbietet den Einsatz von KI nicht. Sie verlangt jedoch, dass personenbezogene Daten rechtmäßig verarbeitet werden.

Wichtige Grundsätze sind:

Datenminimierung

Es dürfen nur die Daten verarbeitet werden, die tatsächlich benötigt werden.

Zweckbindung

Daten dürfen nur für den vorgesehenen Zweck verwendet werden.

Integrität und Vertraulichkeit

Die Daten müssen vor unbefugtem Zugriff geschützt werden.

Transparenz

Mitarbeiter und Betroffene müssen wissen, wie ihre Daten verarbeitet werden.

Warum lokale KI-Agenten datenschutzfreundlicher sind

Bei Cloud-Lösungen werden Daten häufig an externe Anbieter übertragen. Selbst wenn Server innerhalb der EU betrieben werden, bleiben viele Unternehmen skeptisch.

Ein lokal betriebener KI-Agent bietet dagegen mehrere Vorteile:

  • Keine Übertragung sensibler Daten an Dritte
  • Volle Kontrolle über Datenhaltung und Löschung
  • Einfache Umsetzung interner Sicherheitsrichtlinien
  • Geringeres Risiko bei Betriebs- und Geschäftsgeheimnissen
  • Bessere Nachvollziehbarkeit von Datenflüssen

Dadurch lassen sich viele Datenschutzrisiken deutlich reduzieren.

Geeignete Open-Source-Modelle

Für den lokalen Betrieb haben sich insbesondere folgende Modelle etabliert:

  • Llama 3
  • Mistral
  • Mixtral
  • Qwen
  • Gemma

Diese Modelle können vollständig auf eigener Hardware betrieben werden und erfordern keine Verbindung zu externen Cloud-Diensten.

Je nach Unternehmensgröße reichen bereits leistungsfähige Workstations mit modernen Grafikkarten aus. Für größere Installationen kommen dedizierte GPU-Server oder Virtualisierungsumgebungen zum Einsatz.

Unternehmenswissen integrieren statt Modell trainieren

Ein häufiger Irrtum besteht darin, dass ein KI-Modell für jede Unternehmensanwendung neu trainiert werden muss.

In der Praxis ist häufig ein sogenannter RAG-Ansatz (Retrieval Augmented Generation) sinnvoller.

Dabei werden:

  1. Unternehmensdokumente indexiert
  2. Relevante Informationen gesucht
  3. Diese Informationen dem KI-Modell als Kontext bereitgestellt

Vorteile:

  • Kein aufwendiges Training erforderlich
  • Wissen ist jederzeit aktualisierbar
  • Dokumente können einfach hinzugefügt oder entfernt werden
  • Deutlich geringere Hardwarekosten

Die KI beantwortet Fragen auf Basis der aktuellen Unternehmensdokumente, ohne das eigentliche Sprachmodell verändern zu müssen.

Welche Daten dürfen verwendet werden?

Vor dem Anlernen oder Bereitstellen von Dokumenten sollte geprüft werden, welche Daten verarbeitet werden.

Geeignet sind beispielsweise:

  • Handbücher
  • Arbeitsanweisungen
  • Produktkataloge
  • Technische Dokumentationen
  • Qualitätsmanagement-Dokumente
  • Wissensdatenbanken
  • Prozessbeschreibungen

Besondere Vorsicht ist geboten bei:

  • Personalakten
  • Gesundheitsdaten
  • Kundendaten
  • Vertragsunterlagen
  • Finanzdaten

Hier sollte geprüft werden, ob eine Verarbeitung notwendig und rechtlich zulässig ist.

Technische Maßnahmen für DSGVO-Konformität

Zugriffskontrolle

Nicht jeder Mitarbeiter sollte auf alle Informationen zugreifen können.

Empfehlenswert sind:

  • Benutzerkonten
  • Rollenbasierte Berechtigungen
  • Active-Directory- oder LDAP-Anbindung

Protokollierung

Zugriffe sollten nachvollziehbar dokumentiert werden.

Dabei ist zu beachten, dass auch Logdaten datenschutzrechtlich relevant sein können.

Verschlüsselung

Sowohl gespeicherte Daten als auch Netzwerkverbindungen sollten verschlüsselt werden.

Typische Maßnahmen:

  • HTTPS
  • TLS
  • Verschlüsselte Datenträger
  • Verschlüsselte Backups

Löschkonzepte

Unternehmen müssen definieren können:

  • Welche Daten gespeichert werden
  • Wie lange Daten gespeichert werden
  • Wann Daten gelöscht werden

Beispiel einer DSGVO-konformen Architektur

Eine typische Architektur könnte folgendermaßen aussehen:

  1. Mitarbeiter öffnet das interne KI-Portal
  2. Authentifizierung über Active Directory
  3. Anfrage wird an den lokalen KI-Server gesendet
  4. Dokumentensuche im internen Wissensspeicher
  5. Relevante Informationen werden an das Sprachmodell übergeben
  6. Antwort wird generiert
  7. Antwort wird dem Mitarbeiter angezeigt

Alle Komponenten verbleiben innerhalb des Unternehmensnetzwerks.

Datenschutz-Folgenabschätzung prüfen

Je nach Einsatzbereich kann eine Datenschutz-Folgenabschätzung (DSFA) erforderlich sein.

Dies gilt insbesondere dann, wenn:

  • große Mengen personenbezogener Daten verarbeitet werden
  • sensible Daten betroffen sind
  • automatisierte Entscheidungen getroffen werden

Die Bewertung sollte gemeinsam mit dem Datenschutzbeauftragten erfolgen.

Posted in Development, Sicherheit
zurück
Alle Beiträge
weiter