Benchmark, ¿qué es y para que sirve?

Actualmente con las altas exigencias en los equipos inteligentes, las empresa fabricantes de smartphones siempre están en una constante búsqueda de nuevos aditamentos para cada equipo lanzado, esto va desde nuevos chips de conexión, mejores GPUs, procesadores más potentes o materiales más ligeros y resistentes; la parte de los materiales esta cada ves más cubierta y sin problemas de desarrollo, sin embargo en lo que concierne a los puntos de integrados tenemos no todas las empresas logran hacer un uso perfecto o al menos decente de cada componente, esto lo vemos muy seguido, por ejemplo, con lo equipos Motorola, los cuales a pesar de contar con procesadores potentes, buenos materiales de construcción, un desarrollo casi directo con Google y demás facilidades aún no logra hacer que alguno de sus equipos insignia trabaje como debe al momento de su salida.

¿A que me refiero con lo anterior? Tomemos como punto de idea el Motorola Atrix, aquel equipo que una vez fue nombrado “El Smartphone más poderoso del mundo”, bueno al menos eso se proclamaba, sin embargo su pronta salida y la proclive tendencia de Motorola a integrar más sin verificar lo llevo a ser uno de smartphones decentes en su momento, claro contaba con un procesador doble núcleo nVIDIA Tegra2, sin embargo el poco desarrollo en sistema hizo de las suyas y convirtió al Smartphone más poderoso en el más rechazado, y esto debido a problemas de sobrecalentamiento y cientos de bugs detectados dentro de cierta aplicaciones tales como Skype con un fallo en la cámara delantera, errores de recepción, alto consumo de batería, administración de archivos completamente desordenado, entre otros puntos que fueron arreglados con la actualización a Android 2.3. El caso de lo anterior es que por lo general las empresas solo hacen probas de rendimiento básico, por así decirlo, con herramientas propias o de terceros, y es una herramienta de terceros la que siempre da la pauta para saber si un equipo está a la altura del desempeño óptimo, se trata de las herramientas de Benchmark, las cuales son simplemente aplicaciones que sirven de “probadores” de desempeño, las cuales dan una idea de la potencia del equipo, aunque claro está potencia es en base a pruebas básicas, cuando en realidad el día a día es el verdadero reto a vencer.

Ahora bien, de manera un poco más detallada un Benchmark es es un conjunto de procedimientos ( programa o programas) para evaluar el rendimiento de un rendimiento de un sistema o componente del mismo, de manera más formal puede entenderse que un benchmark es el resultado de la ejecución de un programa informático o un conjunto de programas en una máquina, con el objetivo de estimar el rendimiento de un elemento concreto, para luego poder comparar los resultados con máquinas similares. Un Benchmark podría ser realizado en cualquiera de los componentes dentro de un equipo, ya sea CPU, RAM, GPU, etc., aunque también puede ser dirigido específicamente a una función dentro de un componente, por ejemplo, la unidad de coma flotante de la CPU, o incluso a otros programas.

La tarea de ejecutar un benchmark originalmente se reducía a estimar el tiempo de proceso que lleva la ejecución de un programa (medida por lo general en miles o millones de operaciones por segundo), pero con el correr del tiempo, la mejora en los compiladores y la gran variedad de arquitecturas y situaciones existentes convirtieron a esta técnica en toda una especialidad, en la cual elección de las condiciones bajo la cual dos sistemas distintos pueden compararse entre sí es especialmente ardua, y la publicación de los resultados suele ser objeto de grandes debates debates cuando éstos se abren a la comunidad. Hay que tomar muy en cuenta que estas herramientas se convierten en poderosas armas competitivas, las cuales al ser mal realizadas puede hacernos perder grandes cantidades de dinero, o viéndolo desde el enfoque de una empresa puede hacerle perder millones de dólares, usuarios y hasta su prestigio.

Tipos de Benchmarking

• Benchamrking Interno

En la mayor parte de las grandes empresas con múltiples divisiones o internacionales hay funciones similares en diferentes unidades de operación. Una de las investigaciones de benchmarking más fácil es comparar estas operaciones internas. Debe contarse con facilidad con datos e información y no existir problemas de confidencialidad.

• Benchmarking Competitivo

Los competidores directos de productos son contra quienes resulta más obvio llevar a cabo el benchmarking. Ellos cumplirían, o deberían hacerlo, con todas las pruebas de comparabilidad. En definitiva cualquier investigación de benchmarking debe mostrar cuales son las ventajas y desventajas comparativas entre los competidores directos.

• Benchmarking Funcional

No es necesario concentrarse únicamente en los competidores directos de productos. Existe una gran posibilidad de identificar competidores funcionales o líderes de la industria para utilizarlos en el benchmarking incluso si se encuentran en industrias disímiles. Este tipo de benchmarking ha demostrado ser productivo, ya que fomenta en interés por la investigación y los datos compartidos, debido a que no existe el problema de la confidencialidad de la información entre las empresas disímiles sino que también existe un interés natural para comprender las prácticas en otro lugar.

• Benchmarking Genérico

Algunas funciones o procesos en los negocios son las mismas con independencia en las disimilitudes de las industrias, por ejemplo el despacho de pedidos. El beneficio de esta forma de benchmarking, la más pura, es que se pueden descubrir prácticas y métodos que no se implementan en la industria propia del investigador. Este tipo de investigación tiene la posibilidad de revelar la mejor de las mejores prácticas.

Cualidades

• Los benchmark tienen las siguientes funcionalidades:
• Comprobar si las especificaciones de los componentes están dentro del margen propio del mismo
• Maximizar el rendimiento con un presupuesto dado
• Minimizar costos manteniendo un nivel máximo de rendimiento
• Obtener la mejor relación costo/beneficio (con un presupuesto o unas exigencias dadas)

Otros tipos de Benchmark

• Consumo de energía
• Cumplimiento con estándares ambientales, contenido de materiales y manejo del final del ciclo de vida del producto
• Disipación de calor
• De Juguete: detectar y medir componentes básicos de un computador
• Redes
• Reducción de ruido
• Trabajo compartido: mide el rendimiento en las modernas tecnologías de distribución de procesos
• Servidores
• Soporte técnico

Cómo punto final solo cabe destacar que la idea o práctica de Benchmark no está comenzando con el desarrollo de los smartphones y los nuevos sistemas operativos móviles como Android, iOS o Blackberry OS, está práctica estaba y fue desarrollada en un principio para poder hacer los análisis de desempeño en las PCs, sin embargo, el gran desenvolvimiento de los equipos inteligentes, así como la exponencial evolución de cada uno de sus componentes han hecho necesario hallar nuevas maneras de poder establecer una idea o dar a conocer información a cerca del desempeño de un equipo, y ya siendo un poco más exigentes podríamos desear que las empresas incluyan documentación a cerca de los Benchamarks hechos a cada equipo, para así poder tener una idea más estructurada de cada equipo al momento de comprar, pero obviamente no información solo de como trabaja el procesador, sino además información a cerca del desenvolvimiento total de cada pieza, cambios sufridos y posibles problemas debido al mal uso, aunque claro esto podría ser mucho pedir, a lo que solo nos queda confiar en la experiencia y renombre de las marcas al momento de hacer una compra

Información | CPUBenchmark | Wiki | Desarrollo en los estándares de calidad (ITMérida, tesis)