Acabo de hacer una prueba con Mistral Nexus Small, GPT-4o y Claude 3.5 usando el mismo prompt en tres áreas: resúmenes técnicos, generación de código y creatividad. Los resultados me han dejado flipando, pero no por lo que esperaba.

En resúmenes técnicos (ej: analizar un paper de 20 páginas), Nexus Small fue más rápido y preciso que GPT-4o. Pero cuando le pedí que escribiera un guion para un corto de terror, los resultados fueron... bueno, digamos que parece que lo escribió un robot de los 90. ¿Alguien más ha notado esta diferencia tan bestia entre tareas?

Lo más raro es que en la web de Mistral no mencionan este fallo en creatividad. ¿Será que lo han optimizado solo para cosas "serias" y han dejado de lado lo demás? O igual soy yo que no sé sacarle partido.

Por cierto, si a alguien le interesa, puedo subir las capturas de las respuestas que me dio cada modelo. Pero antes quería saber:

• ¿Vosotros habéis probado Nexus para algo que no sea programación o análisis de datos?
• ¿Creéis que vale la pena pagar por la versión Large si la Small ya va bien para lo técnico?
• ¿O igual es mejor seguir con GPT-4o y ya está?