Die Demo lief. Produktion ist ein anderes Gespräch.
Ein KI-PoC beweist, dass die Idee möglich ist. Er beweist nicht, dass sie den Daten des Kunden, seinen Berechtigungen, seinem Volumen und seiner Sicherheitsprüfung standhält. Das hier ist die Liste dessen, was meistens fehlt – geschrieben, damit Sie sie als Checkliste nutzen können, auch wenn Sie uns nie anrufen.
Gehört das Projekt einem Ihrer Kunden: so arbeiten wir mit BeratungenWas fast immer fehlt
- 01
Es gibt keine Möglichkeit zu wissen, ob er gut antwortet
Ohne automatisierte Evaluierungen wird Qualität beurteilt, indem man von Hand ausprobiert und sich erinnert. Jede Änderung an Prompt, Modell oder Daten ist eine Wette. Es braucht Testfälle mit erwarteter Antwort, die bei jeder Änderung laufen, und einen Schwellenwert, unterhalb dessen nicht ausgerollt wird.
- 02
Niemand kann eine konkrete Antwort erklären
Wenn der Kunde fragt, warum der Agent etwas gesagt hat, muss man es rekonstruieren können: was abgerufen wurde, mit welchen Berechtigungen, welcher Prompt gesendet wurde, welche Modellversion geantwortet hat. Ohne diesen Trace ist keine Prüfung möglich und keine Ursache zu beheben.
- 03
Die Berechtigungen des PoC sind nicht die des Kunden
Ein Prototyp liest meist den gesamten Bestand. In Produktion müssen zwei verschiedene Nutzer Verschiedenes sehen, und die Filterung muss beim Retrieval passieren, nicht im Prompt. Das ist die Stelle, an der die meisten Projekte in der Sicherheitsprüfung hängen bleiben.
- 04
Es gibt keine Obergrenze für Kosten und Latenz
Kosten pro Aufgabe und Antwortzeit werden nicht gemessen, bis jemand sie bezahlt oder aushält. Es braucht Grenzen, Alarme und eine ausdrückliche Entscheidung darüber, was heruntergefahren wird, sobald sie erreicht sind.
- 05
Es gibt keinen Weg zurück
Ist das Deployment nicht reproduzierbar und gibt es kein Rollback, ist praktisch jede Änderung unumkehrbar. Es braucht Infrastruktur als Code auf Azure, getrennte Umgebungen und einen erprobten Rückweg.
- 06
Er irrt sich allein, ohne Netz
Wo ein Fehler Geld oder Ruf kostet, gibt ein Mensch die Entscheidung frei. Zu bestimmen, wo diese Grenze liegt, ist eine Geschäftsentscheidung, keine technische, und sie sollte fallen, bevor das System geöffnet wird.
Nehmen Sie sie mit und nutzen Sie sie, auch wenn Sie uns nie anrufen: Die Druckfassung enthält alle sechs Punkte mit Platz für die Notiz, welchen Sie gelöst haben.
Was Ihr Kunde fragen wird, bevor er uns hereinlässt.
Wenn das Projekt einem Endkunden gehört, wird jemand aus seinem Sicherheitsteam genau das prüfen. Wir haben es vor dem Start schriftlich, damit Sie es zeigen können, statt es zu improvisieren.
-
Minimale Zugriffe und vereinbarte Umgebungen
Wir arbeiten mit genau den Berechtigungen, die unser Teilstück braucht, und in den Umgebungen, die wir vereinbaren. Keine geteilten Zugangsdaten und keine offenen Zugriffe, „damit es schneller geht“.
-
Die Berechtigungen des Kunden greifen beim Retrieval
Zwei verschiedene Nutzer sehen Verschiedenes, und die Filterung passiert beim Abrufen der Daten, nicht im Vertrauen auf den Prompt. Das ist die Stelle, an der die meisten Projekte in der Sicherheitsprüfung hängen bleiben.
-
Jede Antwort lässt sich rekonstruieren
Was abgerufen wurde, mit welchen Berechtigungen, welcher Prompt gesendet wurde und welche Modellversion geantwortet hat. Ohne diesen Trace ist keine Prüfung möglich und keine Ursache zu beheben.
-
Welche Daten die KI-Werkzeuge berühren, schriftlich
Sind Modelle Dritter im Spiel, legen wir vorher fest, welche Daten verwendet werden dürfen, wo und mit welchen Grenzen, in einer Form, die Sie an die Sicherheitsabteilung Ihres Kunden weitergeben können.
-
Guardrails und menschliche Kontrolle, wo es Geld kostet
Kosten- und Latenzgrenzen mit Alarmen, und eine ausdrückliche Grenze: wo der Agent allein entscheidet und wo ein Mensch freigibt. Diese Grenze ist eine Geschäftsentscheidung und wird getroffen, bevor das System geöffnet wird.
-
Vertraulichkeit und Non-Circumvention unterzeichnet
NDA, bevor Sie uns die Details erzählen, wenn Sie es brauchen, und Non-Circumvention schriftlich: Wir verkaufen Ihrem Kunden nichts auf eigene Rechnung, weder während des Projekts noch danach.
-
Der Code gehört Ihnen vom ersten Tag an
Er liegt in den Repositories, die Sie benennen, nicht in unseren. Zum Abschluss bleiben Runbooks, Evaluierungsbericht und Übergabesitzungen: Sie sind nicht auf uns angewiesen, um das Gelieferte zu betreiben.
Wenn Ihr Kunde eine bestimmte Zulassung oder einen bestimmten offiziellen Partner verlangt, sagen Sie es uns im ersten Gespräch: besser dann als mitten im Projekt.
Wie wir das angehen
Wir fangen nicht bei null an. Wir prüfen das Vorhandene, sagen, was bleibt und was neu geschrieben wird, und schließen den Umfang nach Meilensteinen ab, mit Abnahmekriterien, die vor dem Start schriftlich festliegen. Wenn der grundlegende Ansatz nicht trägt, sagen wir das vor der Unterschrift und nicht mitten im Projekt.
Erzählen Sie uns, was gebaut ist, mit welchen Daten und bis wann es in Produktion sein muss. In 30 Minuten bekommen Sie eine Risikokarte und eine klare Einschätzung, was fehlt.
Drei Auslieferungen, mit Kontext und ErgebnisSprechen wir über Ihr Projekt?
In 30 Minuten sehen wir uns an, was Sie bauen wollen oder was bereits läuft: die Daten, die Integrationen und das, was fehlt, damit es standhält, wenn die Nutzer kommen. Ob das Projekt Ihres ist oder das eines Ihrer Kunden, ändert nichts: Das Gespräch ist dasselbe.
Kostenlose Prüfung, 30 Min., unverbindlich. Wir unterzeichnen vorab ein NDA, wenn Sie es brauchen. Wir antworten am nächsten Werktag.