Chips Dimensity ahora compatibles con Phi-3.5 de Microsoft
El lunes, MediaTek anunció la optimización de varias de sus plataformas móviles para los modelos de inteligencia artificial (IA) Phi-3.5 de Microsoft. Esta serie de pequeños modelos de lenguaje (SLMs), que incluye Phi-3.5 Mixture of Experts (MoE), Phi-3.5 Mini y Phi-3.5 Vision, fue lanzada en agosto.
Los modelos de IA de código abierto están disponibles en la plataforma Hugging Face. A diferencia de los modelos conversacionales tradicionales, estos son modelos instructivos que requieren instrucciones específicas para generar los resultados deseados.
Optimización de chipsets Dimensity para tareas de IA generativa
MediaTek reveló en una publicación en su blog que los chipsets Dimensity 9400, Dimensity 9300 y Dimensity 8300 ahora están optimizados para los modelos Phi-3.5.
Esto permite a estas plataformas móviles procesar de manera eficiente tareas de IA generativa directamente en el dispositivo, utilizando las unidades de procesamiento neuronal (NPUs) de MediaTek.
La optimización de un chipset para un modelo de IA específico implica ajustar su diseño de hardware, arquitectura y operación para soportar de manera eficiente los requerimientos de procesamiento, patrones de acceso a la memoria y flujo de datos del modelo.
Como resultado, se reduce la latencia y el consumo de energía, al tiempo que se mejora el rendimiento general.
Compatibilidad con Phi-3.5 MoE, Mini y Vision
MediaTek destacó que sus procesadores no solo están optimizados para el modelo Phi-3.5 MoE de Microsoft, que cuenta con 16 conjuntos de 3.8 mil millones de parámetros, sino también para Phi-3.5 Mini, que ofrece soporte multilingüe, y Phi-3.5 Vision, diseñado para análisis y razonamiento de imágenes multimarco.
Phi-3.5 Vision integra un codificador de imágenes y 4.2 mil millones de parámetros, mientras que Phi-3.5 Mini cuenta con 3.8 mil millones de parámetros, lo que demuestra la flexibilidad de estos modelos para diferentes aplicaciones.
Rendimiento y herramientas para desarrolladores
En cuanto al rendimiento, Microsoft informó que Phi-3.5 MoE superó a modelos como Gemini 1.5 Flash y GPT-4o mini en el benchmark SQuALITY, que evalúa la precisión y legibilidad al resumir bloques de texto.
Para los desarrolladores, los modelos Phi-3.5 pueden ser utilizados directamente a través de Hugging Face o el catálogo de modelos de Azure AI.
Además, MediaTek ofrece acceso a estos modelos mediante su kit de herramientas NeuroPilot SDK, permitiendo la creación de aplicaciones optimizadas que ejecuten tareas de IA generativa en los chipsets mencionados.
Fuente: MediaTek
