El jurado de los Premios Epica experimenta con un “jurado de inteligencia artificial” y su capacidad para evaluar y comprender ideas creativas

La inteligencia artificial es una de las tecnologías más populares del momento, y es precisamente por su actualidad que los Epica Awards, conocidos desde hace más de 30 años como los premios del sector que cuentan con un jurado integrado única y exclusivamente por periodistas, se han preguntado: ¿puede una IA sustituir a un jurado creativo?

De este experimento nace «AIJE», un experimento de jurado de inteligencia artificial, que tiene como principal objetivo explorar el potencial de la IA para evaluar y comprender ideas creativas. El experimento se realizó en paralelo al concurso 2023, celebrado el pasado mes de diciembre en Bruselas, y su resultado no se incorporó a los premios principales, que juzga un jurado de más de 150 periodistas humanos.

En palabras de Mark Tungate, director editorial de los Premios Epica, «nuestro jurado de prensa, deseoso de documentar acontecimientos de actualidad, reconoció que la IA es un tema acuciante. Esto nos llevó a unirnos a la conversación con un experimento desenfadado pero que invita a la reflexión».

Los Premios Epica experimentan con un jurado de inteligencia artificial

Como detallan los resultados de este curioso experimento, el proceso de evaluación de la IA fue riguroso. En esta primera versión, se basó únicamente en las descripciones textuales de las campañas proporcionadas por los participantes, a quienes se les proporcionó una herramienta de estandarización para ayudarles a destilar los conceptos creativos en descripciones que la IA podía procesar fácilmente.

En este sentido, Nicolas Huvé, director de operaciones de Epica Awards y creador de AIJE; comentó que «basarse únicamente en la descripción textual tiene sus ventajas, ya que es algo más democrático. Al fin y al cabo, una buena idea debería poder resumirse en un ‘elevator pitch’».

Dentro de la metodología, las descripciones de todas las entradas se agruparon por categorías y se introdujeron en la última GPT4- Turbo API junto con un mensaje que incluía la descripción de la categoría, así como la escala de puntuación de los Premios Epica, de este modo se garantizaba que las evaluaciones de la IA coincidieran con los criterios utilizados por los miembros humanos del jurado.

Así, la IA generó puntuaciones, así como una justificación textual de su elección para cada entrada. Un proceso que no se ejecutó una sola vez, sino 80. Las 80 justificaciones de texto también se sintetizaron para producir comentarios generales sobre cada campaña por parte de la IA.

¿Qué premió la IA?

«Nuestras pruebas iniciales mostraron una correlación prometedora con las puntuaciones humanas, especialmente en el nivel inferior. Sin embargo, en el experimento en vivo, nos centramos únicamente en la lista de finalistas, lo que dio lugar a una discrepancia notable, aunque no sorprendente, ya que todas estas candidaturas ya habían sido consideradas de alta calidad por un jurado humano», explica Nicolas Huvé.

Las puntuaciones de la IA fueron más altas, con una media de 7,45, en contraste con las puntuaciones humanas, que promediaron 6.60. Esta tendencia pone de manifiesto una diferencia fundamental en el enfoque de evaluación.

«Los periodistas, conocidos por su análisis crítico, suelen ser más duros en su puntuación. En cambio, la AIJE tendía a dejarse impresionar más fácilmente. En la sala del jurado, los periodistas podían identificar ideas que se habían hecho antes de alguna manera, mientras que AIJE percibía la novedad», señala Huvé.

Esta diferente pone en relieve que a mayor comprensión de los periodistas a la hora de identificar la originalidad. Pero AIJE fue más imparcial. Añade Huvé, «AIJE parecía más eficaz a la hora de evaluar una campaña estrictamente dentro del ámbito de su categoría. A diferencia de los jurados humanos, que pueden dar puntuaciones más altas o más bajas a trabajos que personalmente prefieren o les disgustan, AIJE no se vio influido por esos sesgos humanos».

El factor humano versus la inteligencia artificial

Para ilustrar el factor humano en la evaluación, Huvé explica el ejemplo de «The XTinction Timeline» de McCann Worldgroup Alemania, una acción que yuxtapone el cambio de marca del pájaro de Twitter en «X» con la extinción de animales, un trabajo que obtuvo una plata en la categoría Topical & Real Time de los Epica Awards.

Sobre este caso la IA comentó: «una campaña potente y líder en el mercado que aprovecha inteligentemente la ola de un acontecimiento de actualidad para abordar un problema mundial acuciante. El paralelismo creativo trazado entre el cambio de marca de Twitter y la extinción de la fauna salvaje combina eficazmente la cultura pop con el activismo medioambiental».

Por su parte, un miembro del jurado humano fue más matizado sobre la plataforma de votación: «Una forma muy inteligente de aprovechar y redirigir la indignación. Si no tener relaciones públicas es tener malas relaciones públicas, entonces también benefició a X, por desgracia. Esperemos que se convirtiera en donaciones para WWF y no sólo en atención a la arrogancia de Musk».

De esta forma, el experimento aporta valiosas ideas sobre el papel potencial de la IA en la evaluación de la creatividad. Las siguientes versiones de AIJE incluirán más categorías y elementos visuales. «Ahora podemos hacer que no solo mire imágenes, sino que vea e interprete vídeos enteros de casos prácticos, lo que abre vías prometedoras para su futuro», comentó Huvé. «Aunque no excluimos entrenar un modelo exclusivamente con los resultados de los premios, preferiríamos que AIJE se basara en una IA general, que es hacia donde creo que avanza el campo, y que además está más en consonancia con el espíritu outsider de los Epica Awards, alejándose del ‘bucle de retroalimentación’ de la industria creativa», concluye.

Colaboración: www.marketingdirecto.com