Diseccionar prompts para sacarle jugo a la IA

1. Modelo utilizado: GPT-3.5-turbo-1106
2. Plataforma: OpenAI Playground
3. Fuente utilizada para obtener datos históricos.

Primer intento o Zero-Shot

Este concepto de prompt por lo general no arroja un resultado correcto, demostrando que los LLMs tienden a “alucinar” cuando no tienen información disponible en su contexto o cuando requieren operaciones matemáticas.

Prompt estructurado como Primer Intento:

Al momento de la muerte de Francisco I Madero, ¿cuántos años tenía la madre de quien fuera en ese momento el rey de España?

Respuesta del LLM:

La madre del rey de España en ese momento, Alfonso XIII, se llamaba María Cristina de Habsburgo-Lorena. En el momento de la muerte de Francisco I. Madero en 1913, María Cristina de Habsburgo-Lorena tenía 64 años.

Cadena de Pensamiento: Chain of Thought

Al hacer un pequeño cambio en el prompt, como pedir al modelo que vaya paso a paso en el proceso de generar una respuesta, podemos ver cómo cambia el comportamiento y también el resultado. En este caso la respuesta generada tampoco es correcta, sin embargo este tipo de instrucciones tienden a tener mucho mejores resultados con modelos más avanzados

Prompt para cadena de pensamiento:

Piensa paso a paso:
Al momento de la muerte de Francisco I Madero, cuántos años tenía la madre de quien fuera en ese momento el rey de España

Respuesta del LLM:

Para responder a esa pregunta, primero debemos recordar la fecha de la muerte de Francisco I Madero. Madero fue asesinado el 22 de febrero de 1913. A partir de esta fecha necesitamos calcular la edad de la madre del rey de España en ese momento.

Al hacer algunos cálculos rápidos, suponiendo que la madre del rey de España tuvo al menos 20 años cuando dio a luz a su hijo, podríamos estimar que la madre del rey de España probablemente tendría al menos 50 años en el momento de la muerte de Madero.

Sin embargo, es importante tener en cuenta que este cálculo es una estimación aproximada y es necesario confirmar la edad de la madre del rey de España en 1913 para proporcionar una respuesta precisa.

Generación aumentada por recuperación

Cuando agregamos datos como contexto para que el modelo los tenga disponibles, puede realizar un cálculo con mayor facilidad y precisión. En este caso, llegamos a la respuesta correcta:

Prompt para generación aumentada por recuperación:

-Francisco I. Madero: nació el 30 de octubre de 1873, murió 22 de febrero de 1913
-Reinado de Alfonso XIII, Rey de España: inició el 17 de mayo de 1886, terminó el 14 de abril de 1931
-María Cristina de Habsburgo-Lorena, madre de Alfonso XIII: nació el 21 de julio de 1858, murió 6 de febrero de 1929

Al momento de la muerte de Francisco I Madero, cuántos años tenía la madre de quien fuera en ese momento el rey de España

Respuesta del LL:

Al momento de la muerte de Francisco I. Madero, la madre de quien era en ese momento el rey de España tenía 55 años.

Herramientas – Tools

Este último ejemplo es una sobre-simplificación de lo que podríamos llamar integraciones con herramientas y servicios externos. En este caso sirve para ejemplificar cómo podemos instruir al modelo a que sus resultados estén estructurados en un formato específico para que sean usados con otros servicios (APIs).

Instrucciones estructuradas (contexto, herramientas y prompt):

Context:
-Francisco I. Madero: nació el 30 de octubre de 1873, murió 22 de febrero de 1913 – Reinado de Alfonso XIII, Rey de España: inició el 17 de mayo de 1886, terminó el 14 de abril de 1931 – María Cristina de Habsburgo-Lorena, madre de Alfonso XIII: nació el 21 de julio de 1858, murió 6 de febrero de 1929 Al momento de la muerte de Francisco I Madero, cuántos años tenía la madre de quien fuera en ese momento el rey de España

Tools:
-calculator: This tool accepts math expressions and returns their result.
-search: This tool accepts search engine queries and returns the first search result.

If you want to use tools to arrive at the answer, output the list of tools and inputs in CSV format, with this header row `tool,input`

Prompt:
Piensa paso a paso.
Al momento de la muerte de Francisco I Madero, cuántos años tenía la madre de quien fuera el rey de España en ese año.

Respuesta del LLM:

-tool,input
-search,Maria Cristina de Habsburgo-Lorena age on 22 February 1913
-calculator,1913 – 1858

Las nuevas generaciones de modelos, como GPT-4o y superiores, han integrado capacidades de razonamiento más avanzadas y los resultados que observamos tienden a ser correctos con técnicas más sencillas. Sin embargo, este ejemplo es relevante porque en escenarios más complejos y en implementaciones que requieren acceso a datos privados o a procesos específicos, los modelos no son capaces de ofrecer una solución inmediata. Por esta razón es importante entender cómo se construyen las aplicaciones inteligentes, para saber qué mecanismos de comunicación y guía son adecuados para obtener los resultados esperados.