Blog | Entwickler | | 13 Minuten Lesezeit

Ist Ihr Offline-KI-Stack wirklich offline?

Ist Ihr Offline-KI-Stack wirklich offline?

Wichtigste Erkenntnisse

  • On-Premises KI ist nicht automatisch luftisoliert: Ein selbst gehosteter RAG-Stack versuchte dennoch 52 ausgehende Verbindungen mit zwischengespeicherten Modellen und 32 während Cold-Start-Tests.
  • Die ausgehenden Anrufe stammten aus dem Modellregister von Ollama, den Modellprüfungen und -downloads von Hugging Face, dem Dokumentationsdienst von Arize Phoenix sowie einer Benachrichtigung über die Nutzung der VectorAI-Datenbank Deployment.
  • Der Kaltstart-Test schlug fehl, da der Stack die Modelldateien aufgrund einer Firewall mit „Deny-All“-Einstellung nicht herunterladen konnte. Daher müssen die Modelle vor dem Aufruf von „ isolation “ lokal bereitgestellt werden.
  • Durch Offline-Einstellungen (OLLAMA_NO_CLOUD, HF_HUB_OFFLINE sowie die Flags für Phoenix-Telemetrie und externe Ressourcen) wurde die Anzahl der blockierten Pakete von 52 auf eins reduziert, ohne dass dies Auswirkungen auf die Antworten von „ abfragen “ hatte.
  • Eine Outbound-Prüfung anhand von DNS-Protokollen, Paketaufzeichnungen und Firewall-Protokollen deckt verborgene Abhängigkeiten auf, und dank der reproduzierbaren „ Lager “ des Teams können Sie diese Prüfung auf Ihrem eigenen Stack durchführen.

On-Premises KI ist nicht dasselbe wie eine „Air-Gapped“-KI. Eine wirklich „Air-Gapped“-KI Deployment verfügt über keinerlei externe Netzwerkverbindungen, wobei alle für den Betrieb erforderlichen Komponenten lokal verfügbar sind. Der Betrieb eines großen Sprachmodells (LLM) und einer Vektordatenbank auf der eigenen Infrastruktur gewährleistet dies nicht automatisch isolation.

Ein On-Premises Deployment kann weiterhin externe Modellregister kontaktieren, nach Software-Updates suchen, Telemetriedaten an einen öffentlichen Endpunkt senden oder Abfragen an gehostete APIs weiterleiten. Um festzustellen, ob Ihr Stack versucht, externe Kommunikation herzustellen, müssen Sie dessen Netzwerkaktivität überprüfen.

Wir haben externe Verbindungen in einem repräsentativen lokalen RAG-Stack (Retrieval-Augmented Generation) mithilfe einer Firewall mit standardmäßiger Blockierung unterbunden. Der Stack versuchte weiterhin, ausgehende Verbindungen herzustellen, obwohl er Anfragen offline beantworten konnte. Wir haben diese Versuche erfasst, ihre Ziele identifiziert und ein reproduzierbares Audit für ausgehende Verbindungen zusammengestellt, das Sie für Ihren eigenen, selbst gehosteten KI-Stack ausführen können, um versteckte Netzwerkabhängigkeiten aufzudecken.

TL;DR

  • Selbst gehostete KI garantiert keinen Null-Ausgangsverkehr. Bei unserem Audit wurden 52 blockierte Pakete in einer selbst gehosteten RAG-Anwendung mit zwischengespeicherten Modellen und 32 ohne diese erfasst.
  • Das Vorbereiten von Modellen trägt dazu bei, externe Abhängigkeiten zu reduzieren. In unserem Experiment beantwortete die RAG-Anwendung Anfragen mit zwischengespeicherten Modellen, scheiterte jedoch bei Cold-Start-Tests, da sie die erforderlichen Dateien nicht herunterladen konnte.
  • Setzen Sie Offline-Einstellungen durch und überprüfen Sie diese anhand einer Ausgangsüberprüfung. Durch unsere gehärtete Konfiguration konnten wir die Anzahl der blockierten Pakete von 52 auf eins reduzieren, ohne die Ausführung von „ abfragen “ zu beeinträchtigen.

Was wir sahen, als wir den Stecker zogen

In unserem vorab durchgeführten Test konnten wir ausgehende Zugriffe auf drei externe Hostnamen in Ollama, der RAG-Anwendung und Arize Phoenix nachverfolgen. Während der Cold-Start-Tests haben wir Anfragen an fünf Hostnamen erfasst, darunter den Endpunkt „ Deployment-usage“ der VectorAI-Datenbank.

Wir haben einen lokalen RAG-Stack getestet, der aus LlamaIndex, der Actian VectorAI DB Community Edition für die Datensuche, Ollama mit Llama 3.2 3B, einem lokalen Hugging-Face-Embedding-Modell und Arize Phoenix für das Tracing bestand. Alle vier Anwendungskomponenten liefen in Docker-Containern unter Ubuntu 24.04 in einer WSL2-Umgebung.

Wir haben eine Firewall mit standardmäßiger Blockierung eingesetzt, um externen IPv4-Datenverkehr zu blockieren und gleichzeitig die Kommunikation zwischen den Containern aufrechtzuerhalten. Ein DNS-Sinkhole (Domain Name System) zeichnete die angeforderten Hostnamen auf, während tcpdump und in den Firewall-Protokollen wurden Verbindungsversuche erfasst und Pakete blockiert. Wir haben dasselbe durchgeführt Patientenakten abfragen in einem vorab vorbereiteten Zustand mit lokal zwischengespeicherten Modelldateien und in einem Kaltstart-Zustand, bei dem die Caches entfernt wurden. Sie können die Konfiguration mithilfe der GitHub Lager. Die folgende Tabelle zeigt die ausgehende Abhängigkeiten die wir während beider eingeschränkter Durchläufe in den RAG-Komponenten identifiziert haben.

Komponente Anrufart Gewünschtes Ziel  Vorab bereitgestellte Pakete Kaltstart-Pakete 
Ollama Cloud Katalog und Modellregister ollama.com, registry.ollama.ai 3 4
RAG-App / Hugging Face-Bibliotheken  Metadaten -Prüfungen und -Downloads huggingface.co 48 26
Arize Phoenix  Fern-Dokumentationsdienst arizeai-433a7140.mintlify.app 1 1
Actian VectorAI DB  Deployment Nutzungsbenachrichtigung elspv.pervasive.com 0 1
Gesamt 52 32

Die Zahlen beziehen sich auf blockierte Pakete und Wiederholungsversuche und nicht auf einzelne Anfragen. Während des Cold-Start-Tests wurden bei der Paketerfassung 31 ausgehende Versuche registriert, und im Firewall-Protokoll wurde ein weiteres blockiertes Paket von VectorAI DB verzeichnet.

Da die Modelldateien bereits im Cache gespeichert waren, verzeichnete der vorab vorbereitete Durchlauf 68 DNS-Abfragen und 52 blockierte Pakete. Die RAG-Anwendung verzeichnete 48 blockierte Pakete im Zusammenhang mit Hugging Face, gefolgt von Ollama mit drei Paketen und Arize Phoenix mit einem Paket. VectorAI DB unternahm während dieses Durchlaufs keine beobachtbaren ausgehenden Verbindungsversuche. Trotz der blockierten Verbindungen rief die RAG-Anwendung die relevante Richtlinie für Patientenakten ab und beantwortete die Anfrage „ abfragen “ erfolgreich, wie in dem in Abbildung 2 dargestellten Test gezeigt wird.

vorbereitete Fluchtwegprüfung

Vorab durchgeführte Ausstiegsprüfung, die 68 DNS-Abfragen und 52 blockierte Pakete in Ollama, der RAG-Anwendung und Arize Phoenix ergab

nachgestellter, vorab inszenierter Rag-Test

Nachgestellter RAG-Test, der zeigt, wie die Anwendung lokale Dokumente lädt, diese in die VectorAI-Datenbank indexiert und erfolgreich eine Anfrage zu Patientenakten abfragen beantwortet, wobei der ausgehende externe IPv4-Verkehr blockiert ist

Nachdem die Modell-Caches beim Kaltstart entfernt worden waren, versuchte Ollama, auf seine Registrierungsdatenbank zuzugreifen, und die Einbettungsbibliotheken versuchten, Modelldateien von Hugging Face herunterzuladen. Beide Anfragen schlugen unter der „Deny-All“-Firewall fehl, wodurch die RAG-Anwendung den Vorgang „ abfragen “ nicht abschließen konnte. Die Firewall verzeichnete 32 blockierte Pakete und 61 DNS-Abfragen über den gesamten Stack hinweg. VectorAI DB versuchte zudem eine Verbindung zu elspv.pervasive.com, eine Benachrichtigung über die Verwendung von „ Deployment “, die keinen Einfluss auf die lokale Speicherung oder den lokalen Abruf hat.

Prüfung des Kaltstarts und des Ausstiegs

Prüfung des Datenausgangs beim Kaltstart mit 61 DNS-Abfragen und 32 blockierten Paketen

Welche ausgehenden Anrufe sind am wichtigsten?

Aufrufe, die Eingabeaufforderungen oder Dokumentausschnitte an externe Dienste übermitteln, stellen das größte Vertraulichkeitsrisiko dar. Unsere Ausgangs-Firewall hat die beobachteten ausgehenden Versuche blockiert, doch diese Anfragen unterschieden sich hinsichtlich ihres Zwecks und ihrer potenziellen Auswirkungen. Eine Modellregistrierungsabfrage kann Informationen über die von Ihnen verwendete Software preisgeben, während eine gehostete Einbettungs-API sensible Dokumentausschnitte empfangen könnte.

Die folgende Tabelle gibt einen Überblick darüber, wann die einzelnen ausgehenden Anrufe stattfinden und welche Risiken sie für ein Offline-KI- Deployment mit sich bringen könnten.

Outbound-Aktivitäten  Wurde dies bei unserer Prüfung festgestellt? Wenn es auftritt  Primäres Risiko
Abruf aus dem Ollama-Modellregister Ja, Kaltstart Einrichtungszeit Erfordert externen Zugriff, um Modelldateien herunterzuladen, die nicht lokal bereitgestellt wurden
Anfrage für einen externen Dienst bei Ollama Ja Laufzeit, Start Kann Informationen über den anfragenden „ Deployment “ preisgeben und verstößt gegen die Zero-Egress-Anforderungen
Hugging Face-Modell herunterladen  Ja, Kaltstart Einrichtungszeit Fehlende lokale Dateien können dazu führen, dass die RAG-Anwendung nicht erfolgreich gestartet werden kann
Metadaten -Prüfungen von Hugging Face  Ja, vorab vorbereitet Laufzeit, während des Ladens des Modells Kann Modellkennungen und deren Verwendung offenlegen Metadaten
Anfrage zur Dokumentation von Arize Phoenix  Ja Laufzeit, beim Start Es wird eine Verbindung zu einem externen Dienst hergestellt, es werden jedoch keine Trace-Daten offengelegt
VectorAI DB Deployment – Benachrichtigung zur Nutzung Ja, Kaltstart Periodische Hintergrundaktivität Für den lokalen Abruf nicht erforderlich, verstößt jedoch bei einem Versuch gegen strenge Zero-Egress-Anforderungen
Gehostete Einbettungs- oder Inferenz-API  Nein, hypothetisch Laufzeit, sofern konfiguriert Kann Eingabeaufforderungen oder vertrauliche Dokumentinhalte an einen externen Anbieter übermitteln

Das Verhalten von Ollama und Hugging Face bei ausgehenden Verbindungen verdeutlicht, warum Sie Abhängigkeiten bei der Einrichtung von den Prüfungen zur Laufzeit trennen müssen. Während unseres Kaltstarts konnte Ollama sein Modellmanifest nicht abrufen, und die RAG-Anwendung konnte ihr Einbettungsmodell nicht herunterladen. Im vorab vorbereiteten Durchlauf waren beide Modelle lokal verfügbar, dennoch versuchten ihre zugehörigen Bibliotheken weiterhin, externe Katalog- und Metadaten -Anfragen zu stellen. Laut dem Hugging Face Hub-Dokumentation⁠, hf_hub_download kann weiterhin prüfen, ob neuere Versionen von Dateien vorhanden sind, die bereits im lokalen Cache gespeichert sind.

Überprüfen Sie für Ihre „ Deployment “, ob Bibliotheken zum Laden von Modellen weiterhin auf öffentliche Register zugreifen, wenn die Gewichte lokal zwischengespeichert sind. Überprüfen Sie Startanfragen und Wiederholungsversuche, da diese ausgehende Verbindungen auslösen können, wenn Sie die erforderlichen Modelle bereits bereitgestellt haben.

Hintergrunddienste stellen eine weitere Kategorie ausgehender Aktivitäten dar. Arize Phoenix versuchte beim Start, eine Verbindung zu seinem gehosteten Dokumentationsdienst herzustellen, und VectorAI DB initiierte eine regelmäßige Benachrichtigung über die Nutzung von „ Deployment “. Die Anfrage von VectorAI DB hatte keine Auswirkungen auf die Offline-Speicherung oder den Abruf von Vektordaten, die auch bei blockiertem externen Datenausgang weiterhin funktionierten. Sie sollten jedoch bei der Überprüfung Ihres eigenen Stacks ähnliche ausgehende Verbindungsversuche identifizieren, da nicht unbedingt erforderliche Hintergrundverbindungen dennoch gegen die Anforderungen an einen Null-Datenausgang verstoßen.

Ein weiterer potenzieller Sicherheitsrisikofaktor im ausgehenden Datenverkehr ist die Nutzung von gehosteten Einbettungs-APIs. Zum Beispiel, LlamaIndex Python greift auf die von OpenAI gehostete Embedding-Integration zurück standardmäßig, wenn Sie nicht darauf verweisen Settings.embed_model an ein lokales Einbettungsmodell. Wenn Ihre KI-Pipeline vertrauliche Dokumentausschnitte an diese API sendet, übertragen Sie sensible Informationen außerhalb Ihrer Infrastruktur. Wir haben für unser Experiment ein lokales Einbettungsmodell konfiguriert, und unsere Firewall hat die von uns erfassten ausgehenden Verbindungsversuche blockiert.

Bevor Sie Ihren eigenen Stack mit sensiblen Daten betreiben, sollten Sie prüfen, welche Anbieter sich um Embeddings und Inferenz kümmern, die Daten untersuchen, die Ihre Anwendung an diese übermittelt, und sicherstellen, dass jede Komponente auf eine gehostete API ausweichen kann. Behandeln Sie jeden Laufzeitaufruf, der Prompts, Dokumentausschnitte oder andere sensible Daten aus „ Workload “ an einen nicht genehmigten externen Dienst senden könnte, als potenzielle Sicherheitsverletzung. Blockieren Sie diese Verbindungen an der Netzwerkgrenze und dokumentieren Sie alle verbleibenden ausgehenden Verbindungsversuche.

Was nötig ist, um die Lücke zu schließen

Eine luftisolierte KI-Enklave erfordert Netzwerk isolation, lokal verfügbare Abhängigkeiten und Kontrollmaßnahmen, die verhindern, dass Komponenten auf externe Dienste zugreifen können. Beginnen Sie mit einer „Deny-by-Default“-Firewall für den ausgehenden Datenverkehr, entfernen Sie externe Netzwerkrouten und beschränken Sie die DNS-Auflösung auf genehmigte interne Dienste. Diese Kontrollmaßnahmen legen die Netzwerkgrenze fest, während Einstellungen auf Anwendungsebene die von Ihrem Audit identifizierten ausgehenden Abhängigkeiten regeln.

Bei Modellen mit offenem Gewicht sollten Sie die erforderlichen Dateien herunterladen und bereitstellen, bevor Sie die Umgebung isolieren. In unserem gehärteten Durchlauf legen wir fest, dass OLLAMA_NO_CLOUD=1 um die Funktionen von Ollama unter „ Cloud “ zu deaktivieren und HF_HUB_OFFLINE=1 um zu verhindern, dass die Hugging Face-Bibliotheken HTTP-Anfragen an den Hub stellen. Da die Modelldateien bereits im Cache gespeichert waren, konnten beide Komponenten lokale Ressourcen nutzen, ohne die in unseren früheren Tests erfassten Registry-Prüfungen zu wiederholen.

Beobachtbarkeit Die Tools verarbeiten Eingabeaufforderungen, abgerufene Kontextdaten und Anwendungsprotokolle; daher müssen Sie deren externe Verbindungen überprüfen, wenn Sie Ihren KI-Stack isolieren. Wir haben Arize Phoenix mit PHOENIX_ALLOW_EXTERNAL_RESOURCES=false und PHOENIX_TELEMETRY_ENABLED=false um externe Ressourcen einzuschränken und die Telemetrie zu deaktivieren. Wenden Sie dieselbe Sorgfalt auf alle Überwachungs- oder Rückverfolgungsdienst in Ihrem „ Deployment “, insbesondere wenn es um sensible Workloads geht.

Eine produktive Air-Gapped-Umgebung erfordert zudem einen kontrollierten Aktualisierungsprozess. Modellgewichte, Container-Images, Pakete und Sicherheitspatches sollten über genehmigte, verifizierte und signierte physische Datenträger in die isolierte Umgebung gelangen, wobei jede Übertragung dokumentiert werden muss. Auf diese Weise können Sie den KI-Stack aktualisieren, ohne ihn mit öffentlichen Registern zu verbinden.

Im Rahmen unseres Experiments wurden die durch die Firewall erzwungene „ isolation “, die DNS-Protokollierung sowie Offline-Einstellungen auf Anwendungsebene getestet. Die zusätzlichen Netzwerk- und Update-Kontrollen sind Empfehlungen für den Einsatz in Produktionsumgebungen.

Das folgende Diagramm zeigt eine Referenzarchitektur für ein Air-Gapped-RAG- Deployment, das sowohl die in unserem Experiment getesteten als auch die für Produktionsumgebungen empfohlenen Kontrollmechanismen umfasst.

Luftisolierte Lumpen-Enklave

Eine luftisolierte RAG-Enklave mit lokaler Inferenz und Datenabruf, Netzwerksteuerungen nach dem „Deny-by-Default“-Prinzip und einem Signatur-basierten Aktualisierungspfad

Wir haben diese Offline-Einstellungen auf den Test-Stack angewendet und das vorab vorbereitete Audit unter der Einstellung „Deny-All-Egress“ wiederholt. Während unseres 32-minütigen Beobachtungszeitraums verzeichnete der gehärtete Durchlauf lediglich eine blockierte Verbindung, die in der Benachrichtigung „ Deployment-usage“ der VectorAI-Datenbank gemeldet wurde; es gab keine ausgehenden Verbindungsversuche von Ollama, der RAG-Anwendung oder Arize Phoenix. Durch die Konfigurationsänderungen sank die Anzahl der blockierten Pakete von 52 auf eins und die der DNS-Abfragen von 68 auf zwei, während die Firewall den verbleibenden Versuch der VectorAI-Datenbank unterband. Die App beantwortete zudem die Testanfrage „ abfragen “ korrekt.

Audit zur Absicherung der Ausstiegsmöglichkeiten

Erweiterte Ausgangsprüfung mit dem resultierenden Protokoll nach Anwendung der Offline-Einstellungen auf die RAG-Komponenten

Schritt-für-Schritt-Prüfung der Fluchtwege

Führen Sie ein Outbound-Audit für Ihren „ On-Premises “-KI-Stack durch, um externe Verbindungen zu identifizieren und sicherzustellen, dass Ihre Anwendung auch dann weiterhin funktioniert, wenn Sie den ausgehenden Datenverkehr blockieren.

Bevor Sie beginnen

Sie benötigen eine Linux-Umgebung mit Docker Engine, Docker Compose, iptables, und tcpdump. Wir haben unser Experiment unter Ubuntu 24.04 in WSL2 durchgeführt.

Um unsere Umgebung nachzubilden, klonen Sie das Repository „ Lager “ und öffnen Sie das Projektverzeichnis:

git clone https://github.com/actian-devs/developer-content.git
cd developer-content/blog/egress-audit

Befolgen Sie die Anweisungen in der README-Datei, um die Ollama- und Hugging-Face-Modelle bereitzustellen, solange eine Internetverbindung besteht. Starten Sie den Stack mithilfe der Basis-Compose-Datei, bevor Sie das Audit-Overlay anwenden, das das DNS-Sinkhole hinzufügt. Nachdem Sie die Modelle zwischengespeichert und überprüft haben, dass die RAG-Anwendung die Beispielanfrage abfragen beantworten kann, fahren Sie mit dem Egress-Audit fort.

Schritt 1: Ausgehenden Datenverkehr blockieren und mit der Überwachung beginnen

Sorgen Sie dafür, dass das interne Netzwerk Ihres Stacks in Betrieb bleibt, um die Kommunikation zwischen den Komponenten zu ermöglichen, ohne externe Verbindungen zuzulassen. Für unser Docker- Deployment -System unter Ubuntu 24.04 haben wir ein DNS-Sinkhole zur Protokollierung verwendet und Firewall-Regeln zu Docker hinzugefügt. DOCKER-USER Kette. Das Sinkhole zeichnete die angeforderten Hostnamen auf, und die Firewall protokollierte die ausgehenden Pakete und wies sie zurück.

Konfigurieren Sie zunächst Docker Compose so, dass die Basisdatei und das Audit-Overlay verwendet werden, wodurch das DNS-Sinkhole hinzugefügt wird:

export COMPOSE_FILE=docker-compose.yml:docker-compose.audit.yml

Führen Sie diesen Befehl in beiden Terminals aus, die Sie für das Audit verwenden. Bereiten Sie anschließend die Container vor, ohne sie zu starten:

docker compose down
docker compose up --no-start

Aktivieren Sie die Firewall und löschen Sie die bisherigen DNS- und Kernel-Protokolle in Ihrer kontrollierten Testumgebung, damit die neuen Einträge diesem Durchlauf entsprechen:

sudo ./audit/egress-deny.sh on
sudo truncate -s 0 capture/dns.log
sudo dmesg -C

Die Firewall-Richtlinie erlaubt die Kommunikation zwischen Containern auf br-rag schränkt jedoch den ausgehenden externen IPv4-Verkehr ein. Starten Sie in Ihrem zweiten Terminal die Paketaufzeichnung, bevor Sie die Dienste starten.

sudo tcpdump -i br-rag -nn -s 0 -w capture/prestaged.pcap 2>&1 | tee -i capture/prestaged.tcpdump.txt

Kehren Sie zum ersten Terminal zurück, starten Sie den Stack und führen Sie den Test „ abfragen “ aus.

docker compose up -d
docker compose run --rm app --question "How long are adult patient records kept?"

Lassen Sie die Erfassung nach Abschluss des „ abfragen “ noch weitere 30 Minuten laufen, um geplante Wiederholungsversuche und Hintergrundanfragen unter „ Aufzeichnung “ zu berücksichtigen.

sleep 1800

Stopp tcpdump mit Strg+C im zweiten Terminal. Die Konfiguration des DNS-Sinkholes und die vollständige Firewall-Richtlinie finden Sie in der GitHub Lager.

Schritt 2: Identifizieren und klassifizieren Sie jeden ausgehenden Anrufer

Nutzen Sie die DNS-Protokolle, um angeforderte Hostnamen zu identifizieren, Paketaufzeichnungen, um Verbindungsversuche zu überprüfen, und Firewall-Protokolle, um festzustellen, was blockiert wurde. Weisen Sie jedem Container eine feste IP-Adresse zu, damit Sie den Netzwerkverkehr der jeweiligen Komponente zuordnen können.

Beispielsweise weist unsere Docker-Compose-Konfiguration Ollama folgende Adresse zu:

ollama:
  networks:
    rag:
      ipv4_address: 10.77.0.11

Nachdem Sie die Paketaufzeichnung beendet haben, speichern Sie die DNS- und Firewall-Protokolle des abgeschlossenen Durchlaufs. Die GitHub- Lager -Datei enthält die Befehle zum Erfassen der einzelnen Protokolle.

sudo cp capture/dns.log capture/prestaged.dns.log
sudo TZ=UTC dmesg --time-format iso > capture/prestaged.kernel.log

Verwenden Sie anschließend den Audit-Zusammenfassungsrechner, um ausgehende Aktivitäten nach Komponente und Ziel zu gruppieren.

sudo ./audit/summarize.sh capture/prestaged

Der Summarizer liest das DNS-Protokoll, die Paketaufzeichnung, das Firewall-Protokoll und tcpdump in Schritt 1 gespeicherte Statistiken. Die GitHub Lager enthält das vollständige Skript.

Ordnen Sie jeden Versuch entweder einer Einrichtungsabhängigkeit, einer Laufzeitprüfung oder einer Hintergrundanforderung zu. Führen Sie das Audit mit vorab bereitgestellten Modellen durch und wiederholen Sie den Vorgang anschließend in einem kontrollierten Test mit leeren Caches, um Abhängigkeiten zu identifizieren, die den Start eines Offline- Deployment s verhindern würden.

Schritt 3: Deaktivieren Sie nicht benötigte externe Abhängigkeiten

Anhand der protokollierten Ziele und Komponentenprotokolle können Sie ermitteln, welche Outbound-Funktionen Sie deaktivieren sollten. Wenden Sie anschließend die entsprechenden Offline-Einstellungen in einer Docker-Compose-Überschreibungsdatei an.

Für unseren RAG-Stack haben wir Folgendes verwendet:

services:
  ollama:
    environment:
      - OLLAMA_NO_CLOUD=1

  phoenix:
    environment:
      - PHOENIX_ALLOW_EXTERNAL_RESOURCES=false
      - PHOENIX_TELEMETRY_ENABLED=false

  app:
    environment:
      - HF_HUB_OFFLINE=1

Überprüfen Sie Ihren Anwendungscode auf Standardwerte für gehostete APIs und konfigurieren Sie lokale Einbettungen und Inferenz explizit. In unserer RAG-Anwendung haben wir Folgendes festgelegt: Settings.embed_model auf ein lokales Hugging-Face-Embedding-Modell.

Bereiten Sie die erforderlichen Modellgewichte und Einbettungsdateien lokal vor, bevor Sie Offline-Einstellungen erzwingen. Ihre Anwendung muss in der Lage sein, diese zu laden, ohne eine Verbindung zu einer externen Registrierungsstelle herzustellen. Bei einigen Hintergrundanfragen gibt es möglicherweise keine Einstellungen auf Anwendungsebene, mit denen sie deaktiviert werden können. Behalten Sie in diesen Fällen die Netzwerkeinschränkung bei und dokumentieren Sie die verbleibenden Versuche.

Schritt 4: Erneute Prüfung und Aufbewahrung der Prüfungsnachweise

Wiederholen Sie den vorab vorbereiteten „ abfragen “ mit Ihren Offline-Einstellungen und aktivierter „Deny-All“-Firewall. Vergleichen Sie anschließend die Ergebnisse mit Ihrer ursprünglichen Erfassung, um festzustellen, wie sich die ausgehende Aktivität verändert hat.

Für ein vollständiges Audit Aufzeichnung sollten Sie die DNS-Protokolle, Paketaufzeichnungen, Firewall-Protokolle und die Ausgabe des Befehls „ abfragen “ (erfolgreich) zusammen mit der für jeden Durchlauf verwendeten Konfiguration speichern. Diese Aufzeichnungen zeigen Ihrem Prüfer, dass die Anwendung ohne externe Verbindungen funktioniert hat, und liefern einen Nachweis über eventuell verbleibende ausgehende Verbindungsversuche.

Das Audit- Lager zum Datenabfluss umfasst die Docker-Compose-Dateien, das Cache-Staging-Verfahren, die Firewall-Richtlinie, die Erfassungsbefehle sowie die Ergebnisse aller drei Testbedingungen.

Zum Abschluss

Bevor Sie Ihren KI-Stack offline schalten, sollten Sie testen, was passiert, wenn Sie dessen Netzwerkzugang unterbrechen. Möglicherweise stoßen Sie dabei auf Modellregister, Hintergrundüberprüfungen oder externe Dienste, auf die Ihr lokales „ Deployment “ weiterhin angewiesen ist.

In unserem RAG-Experiment hat VectorAI DB die Abrufebene lokal verarbeitet, selbst als externe Verbindungen blockiert waren. Die Anwendung konnte relevante Dokumentausschnitte abrufen, ohne auf eine gehostete Vektordatenbank angewiesen zu sein.

Wenn Sie ein Offline-RAG-System aufbauen, registrieren Sie sich für die VectorAI DB Community Edition und führen Sie das Egress-Audit für Ihre eigene „ Workload “ durch. Das Audit deckt externe Netzwerkabhängigkeiten auf, die Sie beheben müssen, bevor Sie Ihren KI-Stack in einer Air-Gapped-Umgebung bereitstellen können.

Discord beitreten