viernes, 1 de noviembre de 2024

AMD muestra músculo con su Ryzen AI 9 HX 375 vs Intel Core Ultra 7 258-V, hasta un 27% más rápido en LM Studio

Desde que la IA llegó a los portátiles hemos pasado por varias fases, quizás la más llamativa era el hecho de centrar la conversación para "ver quién la tiene más grande" en las NPU, y posteriormente en cuantificar el rendimiento mediante Tokens por segundo (tk/s) y TOPS. Ahora ya no vale solo eso, puesto que se suman las CPU y las GPU a la ecuación, de manera que tenemos tres valores por separado y uno en conjunto para cada procesador. Dado que AMD tiene Strix Point en el mercado e Intel Lunar Lake, aunque no son totalmente equivalentes por el segmento al que van dirigidos, los rojos han enfrentado a su Ryzen AI 9 HX 375 frente al Intel Core Ultra 7 258-V en LM Studio, y los resultados son interesantes.

LM Studio se basa en Llama.cpp, un proyecto para implementar modelos de lenguaje fácil para el usuario común, de manera que les simplifique a todos aquellos que quieren adentrarse en el sector del software de la IA de un modo rápido y sencillo. Por ello, AMD lo ha escogido mostrando por partes las diferencias entre su hardware y el de su competidor.

AMD no usó el Core Ultra 9 288-V e Intel AI Playground por los siguientes motivos

Lo cierto es que la comparativa está un poco sesgada, pero hay un motivo. AMD no ha escogido al Intel Core Ultra 9 288-V, que curiosamente comparte casi el mismo TDP que el HX 375 (28W vs 30W). Teniendo en cuenta que el 288-V tiene 300 MHz más en CPU, 100 MHz más en GPU y 1 TOPS más en NPU, hubiese sido mucho más interesante lanzar la comparativa con esta CPU y no con el 258-V, que aunque muy capaz, no es el máximo exponente que tiene que enfrentar AMD.

Si se ha hecho así es porque el 288-V no está disponible ahora mismo, y como los rojos han escogido portátiles de 14 pulgadas, es posible que no termine de llegar al mercado en ese segmento, puesto que está más pensado a portátiles de gama más alta y más tamaño.

Además de esto, y ya para terminar el apartado, hemos detectado que AMD no usa Intel AI Playground en según qué pruebas, mientas que en otras sí. Puede ser que no interesase, o que fuese irrelevante, o que simplemente quisiesen mostrar el rendimiento sin esta parte optimizada en exclusiva para Intel. Otro detalle a saber es que la opción de Intel usó memorias a 8.533 MT/s, mientras que AMD usó 7.500 MT/s, y esto le da una pequeña ventaja a los azules.

Sea como fuere, vamos con los datos.

AMD Ryzen AI 9 HX 375 vs Intel Core Ultra 7 258-V en LM Studio, ¿es más rápida la opción de los rojos?

Guste o no, sea una comparativa mejor o peor, los datos están encima de la mesa. La diapositiva STX98 que precede a este párrafo muestra cómo AMD es hasta un 27% más rápida en Tokens por segundo en Llama.cpp, donde siempre se mantiene por delante de Intel.

La segunda parte de esta diapositiva muestra el Time to First Token, es decir, el tiempo en el que se tarda en generar el primer token por cada procesador, en concreto, en el apartado de CPU.

AMD afirma que es hasta 3,5 veces más rápida que Intel en hacerlo con su Ryzen AI 9 HX 375 bajo LM Studio frente al Intel Core Ultra 7 258-V.

Al usar la iGPU con VGM (Variable Graphics Memory, fijada por cierto en 16 GB según AMD), vemos que igualmente no hay Instrucción donde la opción de los rojos pierda con la de Intel en este Llama.cpp basado en Vulkan. Hay que especificar que Intel no dispone de VGM en la prueba como tal.

La siguiente prueba es todavía mejor, puesto que prueba la aceleración de la iGPU usando en el caso de los azules Intel AI Playground para ello, es decir, están usando la versión más optimizada con Mistral 7b. Aun así, AMD afirma que el Ryzen AI 9 HX 375 es hasta un 13,1% superior al Core Ultra 7 258-V de Intel.

Es cierto que el sector de la IA está abriendo nuevas puertas a todos y que está de moda, pero realmente el número de usuarios que la usan, incluso con Llama.cpp es bajo.

Pero eso no impide que AMD saque pecho y bata a Intel por márgenes realmente amplios en este campo, aun usando lo mejor que tienen contra la opción de gama media-alta de Intel

Tampoco creamos que el 288-V iba a cambiar demasiado las cosas, ya que el margen es grande, excusas cero si los datos son los que muestran los rojos. Por tanto, Intel tiene que apretar también en IA, otra tarea pendiente a sumar tras la paliza que le está pegando AMD en todos los ámbitos actualmente.

Saludos.

No hay comentarios:

Publicar un comentario

Por favor sé respetuoso/a y escribe adecuadamente. Gracias.