Por qué los agentes multimodales necesitan una arquitectura diferente a la de solo voz
No se puede agregar video a un canal de voz y llamarlo multimodal. Los verdaderos agentes multimodales requieren procesamiento paralelo, razonamiento unificado y un tiempo de ejecución diseñado para el cambio de modalidad.
Un agente de voz tiene una canalización lineal: entrada de audio → ASR → LLM → TTS → salida de audio. Un agente multimodal ejecuta flujos paralelos: audio en + cuadros de video → ASR + modelo de visión → razonamiento LLM unificado → TTS + salida visual opcional. La diferencia no es aditiva: es arquitectónica. El sistema debe decidir, en cada momento, qué modalidad priorizar, cómo fusionar entradas de diferentes sentidos y cómo asignar la computación entre flujos.
Fusión de modalidades, no cambio de modalidades
Un ingenuo sistema multimodal cambia entre modos: escucha o mira. Un sistema multimodal adecuado fusiona entradas: el agente escucha al cliente decir "este está roto" y al mismo tiempo lo ve señalar un elemento específico en la pantalla. La palabra "esto" solo se resuelve con contexto visual. Esta resolución intermodal requiere un modelo de razonamiento que tome ambas entradas simultáneamente, no de forma secuencial.
Transiciones de modalidad fluidas
El agente comienza como una llamada de voz. El cliente necesita ayuda para navegar en su cuenta, por lo que el agente ofrece compartir pantalla. Ahora es voz + compartir pantalla. El cliente muestra un documento ante la cámara; ahora es voz + visión. Estas transiciones deben ser fluidas desde la perspectiva del usuario y desde la perspectiva del agente. El estado de la conversación, el contexto y la personalidad transmiten cambios de modalidad sin reiniciar. Esto requiere un tiempo de ejecución de sesión unificado, no servicios de voz y vídeo separados unidos.
¿Listo para construir?
Vea cómo los agentes de IA multimodales de Mazed funcionan para su caso de uso.