OpenAI podría estar alcanzando un límite de avance con su modelo Orion
OpenAI parece estar acercándose a un límite en la mejora de sus modelos de inteligencia artificial, según reportes recientes de The Information.
De acuerdo con la publicación, el próximo modelo insignia de la compañía, denominado Orion, presenta solo una mejora moderada en comparación con GPT-4. Esto contrasta con el avance significativo que se observó entre GPT-3 y GPT-4, particularmente en tareas de codificación.
Se está alcanzando un límite para la IA
El informe reaviva el debate sobre los límites de la evolución de modelos de IA avanzados y sobre las llamadas “leyes de escalado”, que establecen reglas teóricas sobre cómo estas tecnologías mejoran.
En febrero, el CEO de OpenAI, Sam Altman, comentó en X (anteriormente Twitter) que las leyes de escalado son decididas por “dios”, refiriéndose a que los principios fundamentales de escalabilidad los determinan en última instancia los técnicos a cargo.
Las leyes de escalado sugieren que, en teoría, los modelos de IA se vuelven más inteligentes conforme aumentan en tamaño y acceden a más datos y potencia de cómputo.
No obstante, el reporte de The Information señala que algunos miembros del equipo técnico de OpenAI cuestionan estos principios en medio de una creciente evidencia de que los modelos de vanguardia están alcanzando un techo en su rendimiento.
Cambios menos notorios entre una versión y otra
Aunque el entrenamiento de Orion aún no ha finalizado, OpenAI ha implementado medidas adicionales para mejorar su rendimiento, incluyendo ajustes basados en la retroalimentación humana.
Sin embargo, la tendencia sugiere que futuros modelos de IA podrían ofrecer mejoras menos notables, lo cual podría impactar la alta valuación que estos sistemas han dado a las empresas de tecnología.
El principal factor de esta desaceleración de esta tecnología proviene de la disponibilidad de datos de alta calidad, que se ha vuelto cada vez más limitada conforme las compañías agotan el contenido disponible en la web, como texto, videos y publicaciones académicas.
Problemas con los recursos computacionales
Según Epoch AI, se proyecta que para 2028 se agotará la mayoría de los datos textuales útiles. Como respuesta, algunas compañías recurren a datos sintéticos generados por la IA, aunque este enfoque también presenta desafíos.
El segundo factor es la capacidad de cómputo, un recurso cada vez más costoso y limitado. En un foro de Reddit el mes pasado, Altman reconoció las restricciones que enfrenta OpenAI en términos de recursos computacionales, lo que lo obliga a tomar decisiones difíciles sobre su asignación.
Algunos expertos de la industria sostienen que los avances en rendimiento de los modelos de IA parecen estar mostrando retornos decrecientes. Finalmente, algunos consideran que hay margen para mejorar en la etapa de inferencia, es decir, en la fase donde se perfecciona la precisión del modelo tras su entrenamiento.
Fuente: The Information
