AgentSnap ↗
Producto de Vilotech
AgentSnap es una plataforma para crear asistentes de IA que aprenden del sitio web y los documentos de una empresa y que se embeben en su web como un chat. Trabajo en gran parte del producto.
Seis frentes en los que trabajé, desde cómo aprende el agente y cómo se protege, hasta cómo lo medimos y cómo construimos con IA como equipo.
Ingesta de conocimiento a escala
Colaboré en la herramienta que hace que el agente aprenda de un sitio web completo:
- La ingesta corre en colas, con progreso en vivo por página y por documento.
- El conocimiento se mantiene al día con recrawls programados que vuelven a indexar solo lo que cambió y sacan las páginas que ya no existen.
Taxonomía automática
Fue el trabajo más grande que encaré: una herramienta de descubrimiento y extracción de metadata que funciona con cualquier sitio. Dado cualquier sitio (una tienda online, una inmobiliaria, un estudio de arquitectura), el sistema descubre solo qué entidades tiene, qué campos y qué valores, y los convierte en filtros que el agente usa para responder.
El desafío no era solo que funcionara, sino que fuera viable en costo: diseñé el uso del LLM para que gaste lo mínimo indispensable, sin resignar calidad.
System prompt estructurado y dinámico
Armé el sistema que compone el system prompt de cada agente de la plataforma. En lugar de un texto fijo, se arma por bloques combinando las instrucciones de cada cliente, el rubro del agente, sus herramientas, su conocimiento y las reglas de seguridad. Así, cada agente que sale de la plataforma tiene su propio comportamiento sobre una base común, y la misma base sirve tanto para el chat como para los agentes que trabajan sin conversación.
Lo optimicé para que sea más corto sin perder ninguna regla, con tests que evitan que vuelva a crecer.
Seguridad basada en OWASP para LLMs
Implementé las defensas del agente siguiendo el OWASP Top 10 para aplicaciones con LLM: prompt injection, fuga de instrucciones y acciones fuera de su alcance, sin bloquear las respuestas legítimas. Para validarlo armé un harness de red-team que ataca al agente con más de diez tipos de ataque y compara cada versión del prompt contra la anterior.
También el aislamiento entre cuentas, para que la información de cada organización quede solo en sus agentes.
Evaluar a los agentes como se evalúa el código
Ordené el tooling de evals del equipo y lo convertí en un método: tests unitarios, evals deterministas y evaluaciones con un LLM como juez, con una guía para saber qué usar en cada caso. Cubren el comportamiento esperado del agente, la seguridad y el uso de herramientas, y así cada cambio de prompt o de modelo se mide antes de salir, con su costo y su latencia.
- Evals de punta a punta contra el agente real, iterando en staging y llevando a producción solo lo que mejora.
- Evals generados desde los datos, que recorren el catálogo completo de cada agente en lugar de una muestra: encontraron errores que ningún caso escrito a mano habría detectado.
Una lección que me quedó: cuando una regla no se cumple de forma confiable con el prompt, se mide, y si no alcanza, se resuelve en código.
Cómo trabajo con IA: un plugin de Claude Code para el equipo
Trabajo todos los días con agentes de IA, y lo que más me importa es que el código que producen sea confiable. Por eso armé un plugin de Claude Code que convierte el flujo de trabajo del equipo en algo que cualquiera puede ejecutar en los cuatro repos del producto.
- Spec antes que código: el agente estudia el codebase antes de preguntar, separa lo que sabe de lo que supone y deja por escrito qué se construye y qué queda afuera.
- Revisión independiente: otro agente, sin el contexto de quien escribió, valida el spec y después el código contra lo acordado. Solo revisa, nunca corrige: así la verificación sigue siendo verificación.
- El proceso justo: no todo cambio necesita el flujo completo, y el plugin decide cuánto proceso merece cada uno.
Partí de las skills de Matt Pocock (implementación a partir de un spec, desarrollo guiado por tests, prototipos para decidir mirando y code review), las adapté al flujo del equipo y les sumé lo que no tenían: la revisión independiente de los specs y los planes antes de que exista código. Lo sigo iterando midiendo cómo se comporta en tareas reales y probando técnicas nuevas.


