GAIA AI LLM de AMD se ejecutará localmente en las NPU Ryzen AI

GAIA AI de AMD es un proyecto de código abierto diseñado para ejecutar modelos de lenguaje grandes (LLM) localmente en PC con Ryzen AI. Aprovecha la Unidad de Procesamiento Neuronal (NPU) y la Unidad de Procesamiento Gráfico Integrado (iGPU) de AMD para optimizar el rendimiento y reducir el consumo de energía. GAIA es compatible con varios LLM, incluyendo modelos populares como los derivados de Llama y Phi, diseñados para tareas como resumen, preguntas y respuestas y razonamiento complejo.

La plataforma integra el SDK Lemonade de ONNX TurnkeyML para una inferencia eficiente de LLM, lo que permite una interacción fluida con los modelos. GAIA ofrece dos opciones de instalación: un instalador híbrido optimizado para PC con Ryzen AI y un instalador genérico compatible con otros dispositivos Windows.

Una de las características destacadas de GAIA es su pipeline de Recuperación-Generación Aumentada (RAG), que combina los LLM con una base de conocimiento para mejorar la precisión de las respuestas y la relevancia contextual. El pipeline es compatible con múltiples agentes, incluyendo Chaty para interacciones conversacionales, Clip para búsquedas en YouTube y preguntas y respuestas, y Joker para la generación de humor. GAIA opera localmente, garantizando la privacidad y la funcionalidad sin conexión, a la vez que ofrece procesamiento de alta velocidad. Los desarrolladores pueden ampliar las capacidades de GAIA creando agentes y aplicaciones personalizados, lo que la convierte en una herramienta versátil tanto para uso personal como profesional. Esta iniciativa refleja el compromiso de AMD con el avance de la tecnología de IA y la provisión de soluciones accesibles para los usuarios de PC.

 Referencias: amd y thinkcomputers.org