¿Tu pila de IA sin conexión está realmente sin conexión?
Principales conclusiones
- La IA local no cuenta automáticamente con un aislamiento físico: una pila RAG autohospedada siguió intentando establecer 52 conexiones salientes con modelos almacenados en caché y 32 durante las pruebas de arranque en frío.
- Las llamadas salientes procedían del registro de modelos de Ollama, de las comprobaciones y descargas de modelos de Hugging Face, del servicio de documentación de Arize Phoenix y de una notificación sobre el uso de la implementación de la base de datos de VectorAI.
- La prueba de arranque en frío falló porque la pila no pudo descargar los archivos de los modelos debido a un cortafuegos que bloqueaba todo el tráfico, por lo que los modelos deben prepararse localmente antes del aislamiento.
- La configuración sin conexión (OLLAMA_NO_CLOUD, HF_HUB_OFFLINE y los indicadores de telemetría de Phoenix y de recursos externos) redujo los paquetes bloqueados de 52 a uno sin afectar a las respuestas a las consultas.
- Una auditoría de salida con registros de DNS, capturas de paquetes y registros del cortafuegos revela dependencias ocultas, y el repositorio reproducible del equipo te permite ejecutarla en tu propia pila.
La IA local no es lo mismo que la IA con aislamiento físico. Una implementación de IA con aislamiento físico verdadero carece por completo de conexión con redes externas, y todas las dependencias necesarias para su funcionamiento están disponibles localmente. El hecho de ejecutar un modelo de lenguaje grande (LLM) y una base de datos vectorial en tu propia infraestructura no garantiza automáticamente ese aislamiento.
Una implementación local sigue pudiendo conectarse a registros de modelos externos, comprobar si hay actualizaciones de software, enviar datos de telemetría a un punto de conexión público o redirigir solicitudes a API alojadas. Para determinar si tu pila intenta establecer comunicación externa, debes examinar su actividad de red.
Hemos bloqueado las conexiones externas en una pila local representativa de «Retrieval-Augmented Generation» (RAG) mediante un cortafuegos con política de «denegación por defecto». La pila seguía intentando establecer conexiones salientes, a pesar de que podía responder a las consultas sin conexión. Hemos capturado esos intentos, identificado sus destinos y elaborado una auditoría de tráfico saliente reproducible que puedes ejecutar en tu propia pila de IA autohospedada para detectar dependencias de red ocultas.
TL;DR
- La IA autohospedada no garantiza una salida de datos nula. Nuestra auditoría detectó 52 paquetes bloqueados en una aplicación RAG autohospedada con modelos almacenados en caché y 32 sin ellos.
- La preparación previa de los modelos ayuda a reducir las dependencias externas. En nuestro experimento, la aplicación RAG respondió a las consultas con modelos almacenados en caché, pero falló durante las pruebas de arranque en frío porque no pudo descargar los archivos necesarios.
- Aplica la configuración fuera de línea y compruébala mediante una auditoría de tráfico saliente. Nuestra configuración reforzada redujo el número de paquetes bloqueados de 52 a uno sin afectar a la ejecución de las consultas.
Lo que vimos cuando nos deshicimos del cable
En nuestra ejecución previa, detectamos intentos de conexión salientes hacia tres nombres de host externos en Ollama, la aplicación RAG y Arize Phoenix. Durante las pruebas de arranque en frío, registramos solicitudes dirigidas a cinco nombres de host, incluido el punto final de uso del despliegue de VectorAI DB.
Probamos una pila RAG local creada con LlamaIndex, Actian VectorAI DB Community Edition para la recuperación de datos, Ollama con Llama 3.2 3B, un modelo de incrustación local de Hugging Face y Arize Phoenix para el seguimiento. Los cuatro componentes de la aplicación se ejecutaron en contenedores Docker en Ubuntu 24.04 bajo WSL2.
Utilizamos un cortafuegos con política de «denegación por defecto» para bloquear el tráfico IPv4 externo, al tiempo que se mantenía la comunicación entre los contenedores. Un «sinkhole» del Sistema de Nombres de Dominio (DNS) registraba los nombres de host solicitados, mientras que tcpdump y los registros del cortafuegos registraron los intentos de conexión y los paquetes bloqueados. Ejecutamos el mismo consulta de historiales clínicos en una situación preparada previamente, con los archivos de modelo almacenados en caché localmente, y en una situación de arranque en frío, con las cachés eliminadas. Puedes reproducir esta configuración utilizando el Repositorio de GitHub. La tabla siguiente muestra el dependencias salientes que identificamos en los componentes del RAG durante ambas ejecuciones restringidas.
| Componente | Tipo de llamada | Destino solicitado | Paquetes preconfigurados | Paquetes de arranque en frío |
| Ollama | Catálogo en la nube y registro de modelos | ollama.com, registry.ollama.ai |
3 | 4 |
| Aplicación RAG / Bibliotecas de Hugging Face | Comprobaciones y descargas de metadatos de modelos | huggingface.co |
48 | 26 |
| Arize Phoenix | Servicio de documentación a distancia | arizeai-433a7140.mintlify.app |
1 | 1 |
| Base de datos Actian VectorAI | Notificación sobre el uso de la implementación | elspv.pervasive.com |
0 | 1 |
| Total | 52 | 32 |
Las cifras reflejan los paquetes bloqueados y los reintentos, en lugar de las solicitudes únicas. Durante las pruebas de arranque en frío, la captura de paquetes registró 31 intentos de salida, y el registro del cortafuegos registró un paquete bloqueado adicional procedente de la base de datos de VectorAI.
Con los archivos del modelo ya almacenados en caché, la ejecución preparada previamente registró 68 consultas DNS y 52 paquetes bloqueados. La aplicación RAG registró 48 paquetes bloqueados asociados a Hugging Face, seguida de Ollama con tres paquetes y Arize Phoenix con un paquete. No se observaron intentos de salida por parte de VectorAI DB durante esta ejecución. A pesar de las conexiones bloqueadas, la aplicación RAG recuperó la política de historiales de pacientes pertinente y respondió con éxito a la consulta, tal y como se muestra en la prueba reproducida en la figura 2.

Auditoría de salida preparada previamente que muestra 68 consultas DNS y 52 paquetes bloqueados en Ollama, la aplicación RAG y Arize Phoenix

Prueba RAG reproducida y preparada previamente que muestra cómo la aplicación carga documentos locales, los indexa en la base de datos VectorAI y responde correctamente a una consulta sobre historiales de pacientes con el tráfico saliente IPv4 externo bloqueado.
Al haberse eliminado las cachés de los modelos en la ejecución de arranque en frío, Ollama intentó acceder a su registro y las bibliotecas de incrustación intentaron descargar los archivos de los modelos desde Hugging Face. Ambas solicitudes fallaron debido al cortafuegos de «denegación total», lo que impidió que la aplicación RAG completara la consulta. El cortafuegos registró 32 paquetes bloqueados y 61 consultas DNS en toda la pila. VectorAI DB también intentó establecer una conexión con elspv.pervasive.com, una notificación sobre el uso de la implementación que no afecta al almacenamiento ni a la recuperación de datos locales.

Auditoría de salida en arranque en frío que muestra 61 consultas DNS y 32 paquetes bloqueados
¿Qué llamadas salientes son las más importantes?
Las llamadas que transmiten mensajes de voz o fragmentos de documentos a servicios externos suponen el mayor riesgo para la confidencialidad. Nuestro cortafuegos de salida bloqueó los intentos de salida detectados, pero dichas solicitudes diferían en cuanto a su finalidad y su posible impacto. Una comprobación del registro de modelos puede revelar información sobre el software que estás utilizando, mientras que una API de incrustación alojada podría recibir fragmentos de documentos confidenciales.
La tabla siguiente detalla cuándo se produce cada llamada saliente y los riesgos que podría suponer para una implementación de IA sin conexión.
| Actividad de salida | ¿Se ha observado esto en nuestra auditoría? | Cuándo se produce | Riesgo principal |
| Extracción del registro de modelos de Ollama | Sí, arranque en frío | Tiempo de configuración | Requiere acceso externo para descargar archivos de modelos que no se hayan guardado temporalmente en el equipo local |
| Solicitud de servicio externo de Ollama | Sí | Tiempo de ejecución, inicio | Podría revelar información sobre el despliegue solicitado e incumple los requisitos de «cero salida». |
| Descarga de modelos de Hugging Face | Sí, arranque en frío | Tiempo de configuración | La falta de archivos locales puede impedir que la aplicación RAG se inicie correctamente. |
| Comprobaciones de metadatos de Hugging Face | Sí, preparado de antemano | En tiempo de ejecución, durante la carga del modelo | Puede revelar identificadores de modelos y metadatos de uso |
| Solicitud de documentación sobre Arize Phoenix | Sí | Tiempo de ejecución, al iniciar el sistema | Se conecta a un servicio externo, pero no se ha detectado ninguna exposición de datos de rastreo |
| Notificación sobre la implementación y el uso de VectorAI DB | Sí, arranque en frío | Actividad de fondo periódica | No es imprescindible para la recuperación local, pero, si se intenta, incumple los requisitos estrictos de «cero salida». |
| API de integración o inferencia alojada | No, hipotético | Tiempo de ejecución, si se ha configurado | Puede transmitir indicaciones o contenido confidencial de documentos a un proveedor externo |
El comportamiento de Ollama y Hugging Face en las conexiones salientes ilustra por qué es necesario separar las dependencias de configuración de las comprobaciones en tiempo de ejecución. Durante nuestra ejecución de arranque en frío, Ollama no pudo recuperar el manifiesto de su modelo y la aplicación RAG no pudo descargar su modelo de incrustación. En la ejecución preparada previamente, ambos modelos estaban disponibles localmente; sin embargo, sus bibliotecas de apoyo siguieron intentando realizar solicitudes externas a catálogos y metadatos. Según el Documentación de Hugging Face Hub, hf_hub_download aún puede comprobar si hay versiones más recientes de los archivos que ya están almacenados en la caché local.
Para tu implementación, comprueba si las bibliotecas de carga de modelos siguen conectándose a registros públicos cuando los pesos se almacenan en caché localmente. Revisa las solicitudes de inicio y los reintentos, ya que pueden provocar conexiones salientes una vez que hayas preparado los modelos necesarios.
Los servicios en segundo plano introducen otra categoría de actividad de salida. Arize Phoenix intentó conectarse a su servicio de documentación alojado durante el arranque, y VectorAI DB inició una notificación periódica sobre el uso de la implementación. La solicitud de VectorAI DB no afectó al almacenamiento ni a la recuperación de vectores sin conexión, que siguieron funcionando con el tráfico de salida externo bloqueado. No obstante, debes identificar intentos de salida similares al auditar tu propia pila, ya que las conexiones en segundo plano no esenciales siguen incumpliendo los requisitos de «cero salida».
Otra posible preocupación en lo que respecta a las comunicaciones salientes es el uso de API de incrustación alojadas. Por ejemplo, LlamaIndex para Python recurre a la integración de embeddings alojada por OpenAI por defecto, cuando no se indica Settings.embed_model a un modelo de incrustación local. Si tu proceso de IA envía fragmentos de documentos confidenciales a esa API, estás transmitiendo información sensible fuera de tu infraestructura. Configuramos un modelo de incrustación local para nuestro experimento, y nuestro cortafuegos bloqueó los intentos de conexión saliente que detectamos.
Antes de poner en marcha tu propia pila con datos confidenciales, comprueba qué proveedores se encargan de las representaciones y la inferencia, revisa los datos que tu aplicación les envía y confirma si algún componente puede recurrir a una API alojada. Considera como una posible filtración cualquier llamada en tiempo de ejecución que pueda enviar indicaciones, fragmentos de documentos u otros datos confidenciales de la carga de trabajo a un servicio externo no autorizado. Bloquea esas conexiones en el perímetro de la red y documenta cualquier intento de salida restante.
Lo que hace falta para reducir la brecha
Un enclave de IA con aislamiento físico requiere aislamiento de red, dependencias disponibles localmente y controles que impidan que los componentes accedan a servicios externos. Empieza por un cortafuegos de salida con política de «denegación por defecto», elimina las rutas de red externas y restringe la resolución de DNS a los servicios internos autorizados. Estos controles establecen el límite de la red, mientras que la configuración a nivel de aplicación aborda las dependencias de salida que identifique tu auditoría.
En el caso de los modelos de peso abierto, descarga y prepara los archivos necesarios antes de aislar el entorno. En nuestra ejecución reforzada, hemos configurado OLLAMA_NO_CLOUD=1 para desactivar las funciones en la nube de Ollama y HF_HUB_OFFLINE=1 para evitar que las bibliotecas de Hugging Face realicen solicitudes HTTP al Hub. Al tener los archivos de los modelos ya almacenados en caché, ambos componentes podrían utilizar recursos locales sin tener que repetir las comprobaciones del registro registradas en nuestras pruebas anteriores.
Las herramientas de observabilidad procesan las solicitudes, el contexto recuperado y los rastros de las aplicaciones, por lo que es necesario revisar sus conexiones externas a la hora de aislar tu pila de IA. Hemos configurado Arize Phoenix con PHOENIX_ALLOW_EXTERNAL_RESOURCES=false y PHOENIX_TELEMETRY_ENABLED=false para restringir los recursos externos y desactivar la telemetría. Aplica el mismo nivel de escrutinio a cualquier servicio de seguimiento o localización en tu implementación, sobre todo cuando afecta a cargas de trabajo confidenciales.
Un entorno de producción con aislamiento físico también requiere un proceso de actualización controlado. Los pesos de los modelos, las imágenes de contenedores, los paquetes y los parches de seguridad deben introducirse en el entorno aislado a través de soportes físicos aprobados, verificados y firmados, y cada transferencia debe quedar documentada. Esto permite actualizar la pila de IA sin conectarla a registros públicos.
En nuestro experimento se probó el aislamiento impuesto por el cortafuegos, el registro de DNS y la configuración sin conexión a nivel de aplicación. Los controles adicionales de red y actualizaciones son recomendaciones para implementaciones en entorno de producción.
El siguiente diagrama muestra una arquitectura de referencia para una implementación de RAG con aislamiento físico, que incorpora los controles probados en nuestro experimento y los recomendados para entornos de producción.

Un enclave RAG aislado físicamente con inferencia y recuperación locales, controles de red de «denegación por defecto» y una ruta de actualización con medios firmados
Aplicamos esta configuración fuera de línea a la pila de pruebas y repetimos la auditoría preparada previamente con la política de «denegación total de salida». Durante nuestro periodo de observación de 32 minutos, la ejecución reforzada registró únicamente una conexión bloqueada procedente de la notificación de uso de la implementación de VectorAI DB, sin que se produjeran intentos de salida desde Ollama, la aplicación RAG ni Arize Phoenix. Los cambios en la configuración redujeron los paquetes bloqueados de 52 a uno, y las consultas DNS de 68 a dos, mientras que el cortafuegos detuvo el intento restante procedente de VectorAI DB. La aplicación también respondió correctamente a la consulta de prueba.

Auditoría de salida reforzada que muestra el registro resultante tras aplicar la configuración fuera de línea a los componentes del RAG
Auditoría paso a paso de las vías de evacuación
Realiza una auditoría de salida en tu pila de IA local para identificar las conexiones externas y comprobar que tu aplicación sigue funcionando cuando bloqueas el tráfico saliente.
Antes de empezar
Necesitas un entorno Linux con Docker Engine, Docker Compose, iptables, y tcpdump. Realizamos nuestro experimento en Ubuntu 24.04 bajo WSL2.
Para reproducir nuestra configuración, clona el repositorio y abre el directorio del proyecto:
git clone https://github.com/actian-devs/developer-content.git
cd developer-content/blog/egress-audit
Sigue las instrucciones del archivo README para preparar los modelos de Ollama y Hugging Face mientras haya conexión a Internet. Inicia la pila utilizando el archivo Compose base antes de aplicar la capa de auditoría, que añade el «sinkhole» de DNS. Tras almacenar los modelos en caché y confirmar que la aplicación RAG puede responder a la consulta de ejemplo, continúa con la auditoría de salida.
Paso 1: Bloquear el tráfico saliente y comenzar a supervisarlo
Mantén en funcionamiento la red interna de tu pila para permitir la comunicación entre los componentes sin autorizar conexiones externas. Para nuestra implementación de Docker en Ubuntu 24.04, utilizamos un «sinkhole» de registro de DNS y añadimos reglas de cortafuegos a Docker’s DOCKER-USER cadena. El sumidero registraba los nombres de host solicitados, y el cortafuegos registraba y rechazaba los paquetes salientes.
En primer lugar, configura Docker Compose para que utilice el archivo base y la superposición de auditoría, que añade el «sinkhole» de DNS:
export COMPOSE_FILE=docker-compose.yml:docker-compose.audit.yml
Ejecuta este comando en los dos terminales que utilices para la auditoría. A continuación, prepara los contenedores sin iniciarlos:
docker compose down
docker compose up --no-start
Activa el cortafuegos y borra los registros anteriores de DNS y del núcleo en tu entorno de pruebas controlado, para que los nuevos registros se correspondan con esta ejecución:
sudo ./audit/egress-deny.sh on
sudo truncate -s 0 capture/dns.log
sudo dmesg -C
La política del cortafuegos permite la comunicación entre contenedores en br-rag pero restringe la salida de tráfico IPv4 externo. En tu segundo terminal, inicia la captura de paquetes antes de poner en marcha los servicios.
sudo tcpdump -i br-rag -nn -s 0 -w capture/prestaged.pcap 2>&1 | tee -i capture/prestaged.tcpdump.txt
Vuelve al primer terminal, inicia la pila y ejecuta la consulta de prueba.
docker compose up -d
docker compose run --rm app --question "How long are adult patient records kept?"
Deja la captura en marcha durante otros 30 minutos una vez finalizada la consulta para registrar los reintentos programados y las solicitudes en segundo plano.
sleep 1800
Alto tcpdump con Ctrl+C en la segunda terminal. Encontrarás la configuración del «sinkhole» de DNS y la política completa del cortafuegos en el Repositorio de GitHub.
Paso 2: Identificar y clasificar todas las llamadas salientes
Utiliza los registros de DNS para identificar los nombres de host solicitados, las capturas de paquetes para analizar los intentos de conexión y los registros del cortafuegos para confirmar qué se ha bloqueado. Asigna a cada contenedor una dirección IP fija para poder asociar el tráfico de red con el componente de origen.
Por ejemplo, nuestra configuración de Docker Compose asigna a Ollama esta dirección:
ollama:
networks:
rag:
ipv4_address: 10.77.0.11
Una vez detenida la captura de paquetes, guarda los registros de DNS y del cortafuegos de la ejecución completada. El repositorio de GitHub incluye los comandos para recopilar cada registro.
sudo cp capture/dns.log capture/prestaged.dns.log
sudo TZ=UTC dmesg --time-format iso > capture/prestaged.kernel.log
A continuación, utiliza el resumen de auditoría para agrupar la actividad saliente por componente y destino.
sudo ./audit/summarize.sh capture/prestaged
El resumidor lee el registro DNS, la captura de paquetes, el registro del cortafuegos y tcpdump estadísticas guardadas en el paso 1. El Repositorio de GitHub contiene el guion completo.
Clasifica cada intento como una dependencia de configuración, una comprobación en tiempo de ejecución o una solicitud en segundo plano. Ejecuta la auditoría con los modelos ya preparados y, a continuación, repítela con las cachés vacías en una prueba controlada para identificar las dependencias que impedirían que se iniciara una implementación sin conexión.
Paso 3: Desactivar las dependencias externas innecesarias
Utiliza los destinos registrados y los registros de los componentes para identificar qué funciones de salida debes desactivar. A continuación, aplica la configuración fuera de línea correspondiente en un archivo de sobrescritura de Docker Compose.
Para nuestra pila RAG, utilizamos:
services:
ollama:
environment:
- OLLAMA_NO_CLOUD=1
phoenix:
environment:
- PHOENIX_ALLOW_EXTERNAL_RESOURCES=false
- PHOENIX_TELEMETRY_ENABLED=false
app:
environment:
- HF_HUB_OFFLINE=1
Comprueba el código de tu aplicación para ver los valores predeterminados de la API alojada y configura explícitamente las integraciones locales y la inferencia. En nuestra aplicación RAG, hemos establecido Settings.embed_model a un modelo de incrustación local de Hugging Face.
Prepara localmente los pesos del modelo y los archivos de incrustación necesarios antes de aplicar cualquier configuración sin conexión. Tu aplicación debe poder cargarlos sin necesidad de conectarse a un registro externo. Es posible que algunas solicitudes en segundo plano no dispongan de ajustes a nivel de aplicación para desactivarlas. En esos casos, mantén la restricción de red y documenta los intentos restantes.
Paso 4: Volver a comprobar y conservar las pruebas de auditoría
Repite la consulta preparada previamente con tu configuración sin conexión y el cortafuegos de «denegación total» activado. A continuación, compara los resultados con tu captura inicial para ver cómo ha cambiado la actividad saliente.
Para disponer de un registro de auditoría completo, guarda los registros de DNS, las capturas de paquetes, los registros del cortafuegos y los resultados de las consultas correctas, junto con la configuración utilizada en cada ejecución. Estos registros demuestran al auditor que la aplicación funcionó sin conexiones externas y proporcionan un rastro de cualquier intento de salida que haya quedado sin registrar.
El repositorio de auditoría de salida incluye los archivos de Docker Compose, el procedimiento de preparación de la caché, la política de cortafuegos, los comandos de captura y los resultados de las tres condiciones de prueba.
Conclusión
Antes de dar por inactiva tu pila de IA, comprueba qué ocurre al desactivarle el acceso a la red. Es posible que descubras que tu implementación local sigue dependiendo de registros de modelos, comprobaciones de antecedentes o servicios externos.
En nuestro experimento con RAG, VectorAI DB gestionó la capa de recuperación de forma local, incluso con las conexiones externas bloqueadas. La aplicación pudo recuperar fragmentos de documentos relevantes sin depender de una base de datos vectorial alojada en un servidor externo.
Si estás desarrollando un sistema RAG sin conexión, regístrate en VectorAI DB Community Edition y ejecuta la auditoría de salida en tu propia carga de trabajo. La auditoría revelará las dependencias de red externas que debes resolver antes de implementar tu pila de IA en un entorno aislado.
Únase a Discord