Kollie und der EU AI Act

1. KI-Modelle und Zweck

Kollie ist eine KI-gestützte Plattform für Telefonassistenten. Diese KI-Modelle werden im Betrieb eingesetzt:

Microsoft-Zusage: kein Training mit Kundendaten

Die gesamte Nutzung von Azure OpenAI fällt unter die Datenschutzzusagen von Microsoft für Unternehmen:

• Kundendaten werden nicht verwendet, um Modelle von Microsoft oder Dritten zu trainieren, nachzutrainieren oder zu verbessern.
• Kundendaten sind für andere Azure-OpenAI-Kunden nicht zugänglich.
• Das ist vertraglich in den Microsoft Product Terms und der Dokumentation zu Daten, Datenschutz und Sicherheit von Azure OpenAI zugesichert.

2. Risikoeinstufung nach dem EU AI Act

Einstufung: begrenztes Risiko (mit Elementen minimalen Risikos)

Nach dem EU AI Act (Verordnung (EU) 2024/1689) werden KI-Systeme in vier Risikostufen eingeteilt: unannehmbares, hohes, begrenztes und minimales Risiko.

Kollie fällt nicht unter hohes Risiko (Anhang III), weil es:

• keine biometrische Identifizierung oder Kategorisierung durchführt.
• keine Entscheidungen in kritischer Infrastruktur, Bildung, Beschäftigung, grundlegenden Diensten, Strafverfolgung, Migration oder Justiz trifft.
• kein Social Scoring und keine Emotionserkennung durchführt.
• keine rechtlich erheblichen Entscheidungen über natürliche Personen eigenständig trifft.

Kollie fällt unter begrenztes Risiko, vor allem wegen Artikel 50 (Transparenzpflichten): Personen, die mit einem KI-System interagieren, müssen darüber informiert werden, sofern es nicht aus den Umständen offensichtlich ist.

Der Telefonagent ist die zentrale Schnittstelle, und Anrufer erkennen womöglich nicht sofort, dass sie mit einem KI-System sprechen. Daraus ergibt sich die Transparenzpflicht nach Artikel 50 (siehe Abschnitt 6).

Die übrigen Komponenten (Embeddings, Vektorsuche, Transkriptextraktion) haben minimales Risiko: Sie verarbeiten Daten im Hintergrund ohne direkte Interaktion mit Menschen.

3. Maßnahmen zur Risikominimierung

3.1 Menschliche Aufsicht

• Weiterleitung möglich: Agenten können Anrufe jederzeit an Mitarbeiter weiterleiten, sofern eingerichtet.
• Konfigurierbares Verhalten: Anweisungen, Persona und Aufgabenbereich jedes Agenten legt der Betreiber (Kunde von Kollie) fest; die KI erweitert ihren Aufgabenbereich nicht eigenständig.
• Prüfung der Transkripte: Alle Anrufe werden transkribiert und gespeichert, sodass Menschen die KI-Interaktionen prüfen können.
• Strukturierte Datenextraktion: Nach dem Anruf werden strukturierte Daten aus den Transkripten zur Prüfung durch den Betreiber extrahiert.

3.2 Transparenz

• Verhalten per Prompt festgelegt: Der Betreiber bestimmt, was der Agent sagt und wie er sich vorstellt.
• Aufzeichnungen und Transkripte: Jede KI-Interaktion ist vollständig nachvollziehbar.
• Keine eigenständigen Entscheidungen: Der Agent handelt strikt innerhalb der Grenzen der Prompt-Konfiguration des Betreibers.

3.3 Genauigkeit und Zuverlässigkeit

• RAG (Retrieval-Augmented Generation): Abfragen der Wissensdatenbank stützen die Antworten des Agenten auf die Fakten des Betreibers und verringern das Risiko erfundener Antworten.
• Temperatursteuerung: Die Transkriptextraktion nutzt temperature=0 für deterministische, reproduzierbare Ergebnisse.
• Modellauswahl pro Mandant: Betreibern können bestimmte Modellversionen zugewiesen werden, für kontrollierte Einführungen.

3.4 Nachvollziehbarkeit

• Alle Gespräche werden mit vollständigen Transkripten protokolliert.
• Ergebnisse der strukturierten Datenextraktion werden pro Anruf gespeichert.
• Änderungen an der Agentenkonfiguration werden nachverfolgt.

4. Datenschutz (DSGVO)

Die DSGVO verlangt nicht, dass Daten in der EU gespeichert werden, sondern dass Übermittlungen außerhalb der EU angemessen abgesichert sind (zum Beispiel durch Standardvertragsklauseln oder das EU-US Data Privacy Framework). Alle unten aufgeführten Unterauftragsverarbeiter bieten solche Garantien. EU-Datenresidenz ist als optionale Konfiguration für Organisationen verfügbar, die Daten aus vertraglichen oder regulatorischen Gründen innerhalb der EU halten müssen.

4.1 Überblick über die Datenverarbeitung

4.2 Unterauftragsverarbeiter, Datenresidenz und Training

4.3 Datenminimierung

• An LLM-Anbieter werden nur gesprächsrelevante Daten gesendet.
• Embeddings der Wissensdatenbank werden lokal erzeugt; Quelldokumente werden nicht an externe Dienste gesendet.
• Die Anrufaufzeichnung ist optional und vom Kunden steuerbar: Kunden können sie nach Belieben ein- oder ausschalten. Ist sie aktiviert, werden Aufzeichnungen höchstens 30 Tage auf der Infrastruktur von Kollie (Azure) aufbewahrt. Der Telefonieanbieter (Vonage) bewahrt Anrufaudio unabhängig davon gemäß seiner eigenen Richtlinie bis zu 30 Tage auf.

5. IT-Sicherheit

5.1 Authentifizierung und Zugriffskontrolle

• API-Authentifizierung über API-Schlüssel und Bearer-Tokens.
• Der Zugriff auf Agentenkonfigurationen ist pro Organisation abgegrenzt (Mandantentrennung).
• Collections der Vektordatenbank sind pro Organisation und Wissensdatenbank getrennt (org_{id}_kb_{kb_id}).

5.2 Verschlüsselung

• Bei der Übertragung: Alle externen API-Aufrufe nutzen HTTPS/TLS.
• Im Ruhezustand: von Azure verwaltete Verschlüsselung für PostgreSQL; Qdrant auf einer Azure-VM profitiert von der Azure-Datenträgerverschlüsselung.

5.3 Verwaltung von Geheimnissen

• API-Schlüssel für alle externen Dienste (Azure OpenAI, Deepgram, ElevenLabs) werden als Umgebungsvariablen gespeichert, nicht im Quellcode.
• Produktionsgeheimnisse werden über die Bereitstellungskonfiguration verwaltet und nicht in die Versionsverwaltung übernommen.

5.4 Netzwerksicherheit

• Die Qdrant-Instanz läuft in einem privaten bzw. virtuellen Netzwerk.
• Der Datenbankzugriff ist auf die Anwendungsdienste beschränkt.

6. KI-Kennzeichnung: Transparenzpflicht (Artikel 50)

Aktueller Stand

Derzeit legen Sie als Betreiber die KI-Kennzeichnung (den Hinweis an Anrufer, dass sie mit einer KI sprechen) über Prompt und Begrüßungstext des Agenten fest. Sie sind dafür verantwortlich, dass Ihre Agenten einen angemessenen KI-Hinweis geben.

Kommende Anforderung

Artikel 50 Absatz 1 des EU AI Act verlangt, dass KI-Systeme, die direkt mit Menschen interagieren, diese darüber informieren, dass sie mit einer KI interagieren. Diese Pflicht gilt ab dem 2. August 2026.

Als Plattformanbieter führt Kollie vor diesem Datum einen eingebauten KI-Hinweis ein, damit die Anforderung auf Plattformebene erfüllt wird. Dazu gehört ein Standardhinweis in der Begrüßung des Agenten, der die Anforderungen von Artikel 50 erfüllt.

Was das für Sie bedeutet

• Jetzt: Wir empfehlen, den KI-Hinweis in die Begrüßung Ihrer Agenten aufzunehmen (zum Beispiel „Hallo, Sie sprechen mit einem KI-Assistenten von [Unternehmen]. Wie kann ich Ihnen helfen?").
• Bis August 2026: Kollie stellt die Einhaltung auf Plattformebene sicher, sodass die Anforderungen von Artikel 50 automatisch erfüllt werden.

Zum Nachlesen: Artikel 50 und Erwägungsgrund 132 des EU AI Act (Verordnung (EU) 2024/1689).