Votre pile d'IA hors ligne est-elle vraiment hors ligne ?
Points clés à retenir
- sur site L'IA n'est pas automatiquement isolée physiquement : une pile RAG auto-hébergée a tout de même tenté 52 connexions sortantes avec des modèles mis en cache et 32 lors des tests de démarrage à froid.
- Les appels sortants provenaient du registre de modèles d’Ollama, des vérifications et téléchargements de modèles sur Hugging Face, du service de documentation d’Arize Phoenix, ainsi que d’une notification d’utilisation de la base de données VectorAI déploiement.
- Le test de démarrage à froid a échoué car la pile n'a pas pu télécharger les fichiers de modèles en raison d'un pare-feu configuré pour tout bloquer ; les modèles doivent donc être préparés localement avant l'isolement.
- Les paramètres hors ligne (OLLAMA_NO_CLOUD, HF_HUB_OFFLINE, ainsi que les indicateurs de télémétrie Phoenix et de ressources externes) ont permis de réduire le nombre de paquets bloqués de 52 à un seul, sans affecter les réponses de l'requête .
- Un audit des sorties de données, s'appuyant sur les journaux DNS, les captures de paquets et les journaux du pare-feu, met en évidence des dépendances cachées, et l'dépôt e reproductible mise au point par l'équipe vous permet de l'appliquer à votre propre infrastructure.
sur site L'IA n'est pas synonyme d'IA en « air gap ». Une déploiement d'IA véritablement en « air gap » ne dispose d'aucune connexion au réseau extérieur, toutes les dépendances nécessaires à son fonctionnement étant disponibles localement. Le fait d'exécuter un grand modèle linguistique (LLM) et une base de données vectorielle sur votre propre infrastructure ne garantit pas automatiquement cette isolement.
Une sur site déploiement peut toujours contacter des registres de modèles externes, vérifier la présence de mises à jour logicielles, envoyer des données de télémétrie vers un point de terminaison public ou acheminer des requêtes vers des API hébergées. Pour déterminer si votre pile tente d’établir une communication externe, vous devez inspecter son activité réseau.
Nous avons bloqué les connexions externes sur une pile RAG (Retrieval-Augmented Generation) locale représentative à l'aide d'un pare-feu configuré par défaut en mode « refus par défaut ». La pile a tout de même tenté d'établir des connexions sortantes, alors même qu'elle était capable de répondre aux requêtes hors ligne. Nous avons capturé ces tentatives, identifié leurs destinations et mis au point un audit de trafic sortant reproductible que vous pouvez exécuter sur votre propre pile d'IA auto-hébergée afin de détecter d'éventuelles dépendances réseau cachées.
TL;DR
- L'IA auto-hébergée ne garantit pas un trafic sortant nul. Notre audit a mis en évidence 52 paquets bloqués dans une application RAG auto-hébergée avec des modèles mis en cache, et 32 sans ces modèles.
- La préparation préalable des modèles permet de réduire les dépendances externes. Lors de notre expérience, l'application RAG a répondu aux requêtes à l'aide de modèles mis en cache, mais a échoué lors des tests de démarrage à froid car elle n'a pas pu télécharger les fichiers nécessaires.
- Appliquez les paramètres hors ligne et vérifiez-les à l'aide d'un audit des sorties. Notre configuration renforcée a permis de réduire le nombre de paquets bloqués de 52 à un seul, sans affecter l'exécution d'requête .
Ce que nous avons constaté après avoir abandonné le câble
Lors de notre exécution préliminaire, nous avons identifié des tentatives de connexion sortantes vers trois noms d’hôtes externes sur Ollama, l’application RAG et Arize Phoenix. Au cours des tests de démarrage à froid, nous avons enregistré des requêtes vers cinq noms d’hôtes, dont le point de terminaison « déploiement-usage » de VectorAI DB.
Nous avons testé une pile RAG locale composée de LlamaIndex, d’Actian VectorAI DB Community Edition pour la recherche, d’Ollama exécutant Llama 3.2 3B, d’un modèle d’embedding Hugging Face local et d’Arize Phoenix pour le traçage. Les quatre composants de l’application ont tourné dans des conteneurs Docker sous Ubuntu 24.04 via WSL2.
Nous avons utilisé un pare-feu configuré par défaut en mode « refus par défaut » pour bloquer le trafic IPv4 externe tout en préservant la communication entre les conteneurs. Un « sinkhole » DNS (Domain Name System) enregistrait les noms d'hôtes demandés, tandis que tcpdump et les journaux du pare-feu ont enregistré les tentatives de connexion et les paquets bloqués. Nous avons exécuté la même dossiers médicaux requête dans un environnement préconfiguré avec des fichiers modèles mis en cache localement, et dans un environnement de démarrage à froid avec les caches supprimés. Vous pouvez reproduire cette configuration à l'aide de la commande GitHub dépôt. Le tableau ci-dessous présente les dépendances sortantes que nous avons identifiées dans l'ensemble des composants RAG au cours des deux exécutions restreintes.
| Composant | Type d'appel | Destination demandée | Paquets pré-configurés | Paquets de démarrage à froid |
| Ollama | Catalogue cloud et registre de modèles | ollama.com, registry.ollama.ai |
3 | 4 |
| Application RAG / Bibliothèques Hugging Face | Vérifications et téléchargements du modèle « métadonnées » | huggingface.co |
48 | 26 |
| Arize Phoenix | Service de documentation à distance | arizeai-433a7140.mintlify.app |
1 | 1 |
| Base de données Actian VectorAI | déploiement notification d'utilisation | elspv.pervasive.com |
0 | 1 |
| Total | 52 | 32 |
Ces chiffres correspondent au nombre de paquets bloqués et de tentatives de réenvoi, et non au nombre de requêtes distinctes. Lors des tests de démarrage à froid, la capture de paquets a enregistré 31 tentatives sortantes, et le journal du pare-feu a signalé un paquet supplémentaire bloqué provenant de la base de données VectorAI.
Les fichiers de modèles étant déjà mis en cache, l'exécution pré-configurée a enregistré 68 requêtes DNS et 52 paquets bloqués. L’application RAG a enregistré 48 paquets bloqués associés à Hugging Face, suivie par Ollama avec trois paquets et Arize Phoenix avec un paquet. Aucune tentative de sortie n’a été observée pour VectorAI DB au cours de cette exécution. Malgré les connexions bloquées, l’application RAG a récupéré la politique relative aux dossiers des patients et a répondu avec succès à la requête requête, comme le montre le test reproduit à la figure 2.

Audit de sortie pré-simulé mettant en évidence 68 requêtes DNS et 52 paquets bloqués sur Ollama, l'application RAG et Arize Phoenix

Test RAG reproduit et préparé à l'avance, montrant l'application chargeant des documents locaux, les indexant dans la base de données VectorAI et répondant avec succès à une requête « requête » concernant les dossiers des patients, alors que le trafic sortant IPv4 externe était bloqué.
Les caches de modèles ayant été supprimés lors du démarrage à froid, Ollama a tenté d’accéder à son registre et les bibliothèques d’embedding ont essayé de télécharger des fichiers de modèles depuis Hugging Face. Ces deux requêtes ont échoué en raison du pare-feu configuré pour tout bloquer, empêchant ainsi l’application RAG de mener à bien l’ requête. Le pare-feu a enregistré 32 paquets bloqués et 61 requêtes DNS sur l’ensemble de la pile. VectorAI DB a également tenté une connexion vers elspv.pervasive.com, une notification d'utilisation de type « déploiement » qui n'a aucune incidence sur le stockage ou la récupération des données en local.

Audit des sorties lors d'un démarrage à froid indiquant 61 requêtes DNS et 32 paquets bloqués
Quels sont les appels sortants les plus importants ?
Les appels qui transmettent des messages d'invite ou des extraits de documents à des services externes présentent le risque le plus élevé en matière de confidentialité. Notre pare-feu sortant a bloqué les tentatives sortantes observées, mais ces requêtes différaient tant par leur objectif que par leur impact potentiel. Une vérification du registre des modèles peut révéler des informations sur les logiciels que vous utilisez, tandis qu'une API d'intégration hébergée pourrait recevoir des extraits de documents sensibles.
Le tableau ci-dessous présente le détail des moments où chaque appel sortant a lieu et les risques qu'il pourrait présenter pour une déploiement d'IA hors ligne.
| Activité sortante | Constaté lors de notre audit ? | Quand cela se produit | Risque principal |
| Extraction du registre des modèles Ollama | Oui, démarrage à froid | Temps de configuration | Nécessite un accès externe pour télécharger les fichiers de modèle qui n'ont pas été préchargés localement |
| Demande de service externe Ollama | Oui | Durée d'exécution, démarrage | Peut divulguer des informations concernant l'déploiement e à l'origine de la requête et enfreint les exigences relatives à l'absence de sortie de données. |
| Téléchargement du modèle Hugging Face | Oui, démarrage à froid | Temps de configuration | L'absence de fichiers locaux peut empêcher le démarrage correct de l'application RAG. |
| Vérifications d'métadonnées s par Hugging Face | Oui, pré-mis en place | Au moment de l'exécution, lors du chargement du modèle | Peut révéler les identifiants des modèles et leur utilisation métadonnées |
| Demande de documentation concernant Arize Phoenix | Oui | Durée d'exécution, au démarrage | Contacte un service externe, mais aucune exposition des données de traçabilité n'a été constatée |
| Notification d'utilisation de VectorAI DB déploiement | Oui, démarrage à froid | Activité de fond périodique | Non indispensable à la récupération locale, mais enfreint les exigences strictes de « zéro sortie » en cas de tentative. |
| API d'intégration ou d'inférence hébergée | Non, hypothétique | Durée d'exécution, si configurée | Peut transmettre des invites ou le contenu de documents sensibles à un prestataire externe |
Le comportement d’Ollama et de Hugging Face lors des requêtes sortantes illustre pourquoi il est nécessaire de séparer les dépendances de configuration des vérifications d’exécution. Lors de notre exécution en démarrage à froid, Ollama n’a pas pu récupérer le manifeste de son modèle, et l’application RAG n’a pas pu télécharger son modèle d’embedding. Lors de l’exécution pré-configurée, les deux modèles étaient disponibles localement, mais leurs bibliothèques associées ont continué à tenter des requêtes externes vers le catalogue et métadonnées . Selon le Documentation de Hugging Face Hub, hf_hub_download peut toujours vérifier s'il existe des versions plus récentes des fichiers déjà stockés dans le cache local.
Pour plus d'déploiement s, vérifiez si les bibliothèques de chargement des modèles continuent de se connecter aux registres publics lorsque les poids sont mis en cache localement. Passez en revue les requêtes de démarrage et les tentatives de reconnexion, car elles peuvent déclencher des connexions sortantes lorsque vous avez préchargé les modèles requis.
Les services d’arrière-plan constituent une autre catégorie d’activité sortante. Arize Phoenix a tenté de contacter son service de documentation hébergé lors de son démarrage, et VectorAI DB a lancé une notification périodique d’utilisation de déploiement. La requête de VectorAI DB n’a pas affecté le stockage ni la récupération hors ligne des vecteurs, qui ont continué à fonctionner malgré le blocage des sorties externes. Vous devez toutefois identifier les tentatives sortantes similaires lors de l’audit de votre propre pile, car les connexions d’arrière-plan non essentielles enfreignent tout de même les exigences de « zéro sortie ».
Une autre source potentielle de problème en matière de sortie de données réside dans l'utilisation d'API d'intégration hébergées. Par exemple, LlamaIndex Python revient à l'intégration d'embeddings hébergée par OpenAI par défaut, lorsque vous ne spécifiez pas Settings.embed_model vers un modèle d'encodage local. Si votre pipeline d'IA envoie des extraits de documents confidentiels à cette API, vous transmettez des informations sensibles en dehors de votre infrastructure. Nous avons configuré un modèle d'encodage local pour notre expérience, et notre pare-feu a bloqué les tentatives de connexion sortantes que nous avons détectées.
Avant de déployer votre propre infrastructure contenant des données sensibles, vérifiez quels fournisseurs gèrent les embeddings et l’inférence, examinez les données que votre application leur envoie et assurez-vous qu’aucun composant ne puisse recourir à une API hébergée. Considérez tout appel d’exécution susceptible d’envoyer des invites, des extraits de documents ou d’autres données sensibles d’ charge de travail s vers un service externe non approuvé comme une faille potentielle. Bloquez ces connexions au niveau de la périphérie du réseau et consignez toute tentative sortante restante.
Ce qu'il faut pour combler l'écart
Une enclave d'IA isolée physiquement nécessite une « isolement » du réseau, des dépendances disponibles localement et des contrôles empêchant les composants d'accéder à des services externes. Commencez par mettre en place un pare-feu de sortie fonctionnant selon le principe du « refus par défaut » , supprimez les routes réseau externes et limitez la résolution DNS aux services internes approuvés. Ces contrôles définissent la périphérie du réseau, tandis que les paramètres au niveau des applications traitent les dépendances sortantes identifiées par votre audit.
Pour les modèles à poids libre, téléchargez et préparez les fichiers requis avant d'isoler l'environnement. Dans notre exécution renforcée, nous avons défini OLLAMA_NO_CLOUD=1 pour désactiver les fonctionnalités cloud d'Ollama et HF_HUB_OFFLINE=1 pour empêcher les bibliothèques Hugging Face d'effectuer des requêtes HTTP vers le Hub. Les fichiers de modèles étant déjà mis en cache, les deux composants pourraient utiliser les ressources locales sans répéter les vérifications du registre enregistrées lors de nos tests précédents.
observabilité Ces outils traitent les invites, le contexte récupéré et les traces d'application ; vous devez donc vérifier leurs connexions externes lorsque vous isolez votre pile d'IA. Nous avons configuré Arize Phoenix avec PHOENIX_ALLOW_EXTERNAL_RESOURCES=false et PHOENIX_TELEMETRY_ENABLED=false pour limiter les ressources externes et désactiver la télémétrie. Appliquez le même niveau de rigueur à tout service de surveillance ou de traçabilité dans votre déploiement, en particulier lorsqu’il s’agit de charges de travail sensibles.
Un environnement de production en « air gap » nécessite également un processus de mise à jour contrôlé. Les poids de modèles, les images de conteneurs, les paquets et les correctifs de sécurité doivent être introduits dans l'environnement isolé via des supports physiques approuvés, vérifiés et signés, chaque transfert devant être documenté. Cela vous permet de mettre à jour la pile d'IA sans la connecter à des registres publics.
Notre expérience a porté sur l'isolement imposée par le pare-feu, la journalisation DNS et les paramètres hors ligne au niveau des applications. Les contrôles supplémentaires relatifs au réseau et aux mises à jour constituent des recommandations pour les déploiements en production.
Le schéma ci-dessous présente une architecture de référence pour une solution RAG en mode « air-gapped » déploiement, intégrant les contrôles testés dans le cadre de notre expérience ainsi que ceux recommandés pour les environnements de production.

Une enclave RAG isolée physiquement, dotée de capacités locales d'inférence et de récupération, de contrôles réseau basés sur le principe du « refus par défaut » et d'un chemin de mise à jour par support signé
Nous avons appliqué ces paramètres hors ligne à la pile de test et avons répété l'audit préparé au préalable en mode « refus de toute sortie ». Au cours de notre fenêtre d’observation de 32 minutes, l’exécution renforcée n’a enregistré qu’une seule connexion bloquée, signalée par la notification d’utilisation de la base de données VectorAI ( déploiement), sans aucune tentative sortante provenant d’Ollama, de l’application RAG ou d’Arize Phoenix. Les modifications de configuration ont permis de réduire le nombre de paquets bloqués de 52 à un, et celui des requêtes DNS de 68 à deux, tandis que le pare-feu a bloqué la tentative restante provenant de la base de données VectorAI. L’application a également répondu correctement à l’ requête de test.

Audit de sortie renforcé présentant le journal généré après l'application des paramètres hors ligne aux composants RAG
Audit des issues de secours, étape par étape
Effectuez un audit des sorties sur votre pile IA d'sur site s afin d'identifier les connexions externes et de vérifier que votre application continue de fonctionner lorsque vous bloquez le trafic sortant.
Avant de commencer
Vous avez besoin d'un environnement Linux équipé de Docker Engine, Docker Compose, iptables, et tcpdump. Nous avons mené notre expérience sous Ubuntu 24.04 via WSL2.
Pour reproduire notre configuration, clonez le dépôt dépôt et ouvrez le répertoire du projet :
git clone https://github.com/actian-devs/developer-content.git
cd developer-content/blog/egress-audit
Suivez les instructions du fichier README pour mettre en place les modèles Ollama et Hugging Face tant que vous disposez d'un accès à Internet. Lancez la pile à l'aide du fichier Compose de base avant d'appliquer la couche d'audit, qui ajoute le « sinkhole » DNS. Après avoir mis les modèles en cache et vérifié que l'application RAG peut répondre à l'exemple requête, passez à l'audit des sorties.
Étape 1 : Bloquer le trafic sortant et commencer la surveillance
Veillez à ce que le réseau interne de votre pile reste opérationnel afin de permettre la communication entre les composants sans autoriser les connexions externes. Pour notre déploiement Docker sous Ubuntu 24.04, nous avons utilisé un « sinkhole » DNS de journalisation et ajouté des règles de pare-feu au Docker DOCKER-USER chaîne. Le « sinkhole » enregistrait les noms d'hôtes demandés, tandis que le pare-feu enregistrait et rejetait les paquets sortants.
Commencez par configurer Docker Compose pour qu'il utilise le fichier de base et la superposition d'audit, qui ajoute le « sinkhole » DNS :
export COMPOSE_FILE=docker-compose.yml:docker-compose.audit.yml
Exécutez cette commande dans les deux terminaux que vous utilisez pour l'audit. Préparez ensuite les conteneurs sans les démarrer :
docker compose down
docker compose up --no-start
Activez le pare-feu et effacez les anciens journaux DNS et du noyau dans votre environnement de test contrôlé afin que les nouveaux enregistrements correspondent à cette exécution :
sudo ./audit/egress-deny.sh on
sudo truncate -s 0 capture/dns.log
sudo dmesg -C
La politique de pare-feu autorise la communication entre les conteneurs sur br-rag mais limite le trafic sortant IPv4 vers l'extérieur. Dans votre deuxième terminal, lancez la capture de paquets avant de démarrer les services.
sudo tcpdump -i br-rag -nn -s 0 -w capture/prestaged.pcap 2>&1 | tee -i capture/prestaged.tcpdump.txt
Revenez au premier terminal, lancez la pile et exécutez le test requête.
docker compose up -d
docker compose run --rm app --question "How long are adult patient records kept?"
Laissez la capture en cours pendant encore 30 minutes après la fin de l'requête , afin de permettre l enregistrement s de tentatives de reconnexion programmées et des requêtes en arrière-plan.
sleep 1800
Arrêt tcpdump à l'aide de Ctrl+C dans le deuxième terminal. Vous trouverez la configuration du « sinkhole » DNS et la politique complète du pare-feu dans le fichier GitHub dépôt.
Étape 2 : Identifier et classer chaque appelant sortant
Utilisez les journaux DNS pour identifier les noms d'hôtes demandés, les captures de paquets pour analyser les tentatives de connexion et les journaux du pare-feu pour vérifier ce qui a été bloqué. Attribuez à chaque conteneur une adresse IP fixe afin de pouvoir associer le trafic réseau au composant d'origine.
Par exemple, notre configuration Docker Compose attribue cette adresse à Ollama :
ollama:
networks:
rag:
ipv4_address: 10.77.0.11
Une fois la capture de paquets arrêtée, enregistrez les journaux DNS et pare-feu de la session terminée. Le guide GitHub « dépôt » contient les commandes permettant de récupérer chaque journal.
sudo cp capture/dns.log capture/prestaged.dns.log
sudo TZ=UTC dmesg --time-format iso > capture/prestaged.kernel.log
Utilisez ensuite l'outil de synthèse d'audit pour regrouper les activités sortantes par composant et par destination.
sudo ./audit/summarize.sh capture/prestaged
Le synthétiseur analyse le journal DNS, les captures de paquets, le journal du pare-feu et tcpdump statistiques enregistrées à l'étape 1. Les GitHub dépôt contient le script complet.
Classez chaque tentative en tant que dépendance de configuration, vérification à l'exécution ou requête en arrière-plan. Lancez l'audit avec vos modèles pré-chargés, puis répétez l'opération avec des caches vides dans le cadre d'un test contrôlé afin d'identifier les dépendances qui empêcheraient le démarrage d'une « déploiement » hors ligne.
Étape 3 : Désactiver les dépendances externes inutiles
Utilisez les destinations enregistrées et les journaux des composants pour déterminer quelles fonctionnalités de sortie vous devez désactiver. Appliquez ensuite les paramètres hors ligne correspondants dans un fichier de remplacement Docker Compose.
Pour notre pile RAG, nous avons utilisé :
services:
ollama:
environment:
- OLLAMA_NO_CLOUD=1
phoenix:
environment:
- PHOENIX_ALLOW_EXTERNAL_RESOURCES=false
- PHOENIX_TELEMETRY_ENABLED=false
app:
environment:
- HF_HUB_OFFLINE=1
Vérifiez le code de votre application pour connaître les paramètres par défaut de l'API hébergée et configurez explicitement l'intégration locale et l'inférence. Dans notre application RAG, nous avons défini Settings.embed_model vers un modèle d'embedding Hugging Face local.
Préparez localement les poids du modèle et les fichiers d'intégration requis avant d'appliquer tout paramètre hors ligne. Votre application doit pouvoir les charger sans avoir à contacter un registre externe. Certaines requêtes en arrière-plan peuvent ne pas disposer de paramètres au niveau de l'application permettant de les désactiver. Dans ce cas, maintenez la restriction réseau et consignez les tentatives restantes.
Étape 4 : Procéder à de nouveaux contrôles et conserver les éléments probants
Répétez l'requête préalablement préparée en utilisant vos paramètres hors ligne et avec le pare-feu « tout bloquer » activé. Comparez ensuite les résultats avec votre capture initiale pour observer l'évolution du trafic sortant.
Pour un audit complet enregistrement, enregistrez les journaux DNS, les captures de paquets, les journaux du pare-feu et les résultats de la commande « requête » (réussie), ainsi que la configuration utilisée pour chaque exécution. Ces enregistrements démontrent à votre auditeur que l'application a fonctionné sans connexions externes et fournissent une trace de toute tentative sortante restante.
L'dépôt de l'audit de sortie comprend les fichiers Docker Compose, la procédure de mise en cache, la politique de pare-feu, les commandes de capture et les résultats des trois conditions de test.
Pour conclure
Avant de mettre votre pile d'IA hors ligne, testez ce qui se passe lorsque vous lui retirez l'accès au réseau. Vous pourriez découvrir que votre « local déploiement » dépend encore de registres de modèles, de vérifications d'antécédents ou de services externes.
Dans notre expérience RAG, VectorAI DB a géré la couche de recherche en local, même lorsque les connexions externes étaient bloquées. L'application a pu extraire des extraits de documents pertinents sans avoir recours à une base de données vectorielle hébergée.
Si vous développez un système RAG hors ligne, inscrivez-vous à VectorAI DB Community Edition et lancez l'audit des sorties réseau sur votre propre instance charge de travail. Cet audit mettra en évidence les dépendances réseau externes que vous devrez résoudre avant de déployer votre pile d'IA dans un environnement isolé (air-gapped).
Rejoignez Discord