La biblioteca Pandas de Python permite realizar análisis de datos complejos de una manera relativamente sencilla. Pero su uso requiere unos conocimientos básicos de programación y los métodos necesarios para realizar una operación compleja que no está al alcance de todo el mundo. Lo ideal, para que cualquier usuario pudiese realizar los análisis, sería poder usar lenguaje natural para realizar los análisis. Algo que se puede realizar con PandasAI y el API de OpenAI. Veamos cómo se pueden realizar análisis de datos con GPT en Pandas.
Instalación de PandasAI
Para poder trabajar con Grandes Modelos de Lenguaje (LLM por sus siglas en inglés, Large Language Models) como GTP de OpenAI se debe instalar la biblioteca PandasAI. Como es habitual en Python, la instalación se puede hacer con el comando pip, para lo que se deberá escribir en la terminal el siguiente comando.
pip install pandasai
Creación de una API Key en OpenAI
Una vez instalado PandasAI, para poder usar GPT, será necesario obtener una clave API. Para ello será necesario contar con una cuenta en OpenAI, iniciar sesión en el portal e ir a la sección API Keys. En donde se pulsará sobre el botón “+ Create new secret key”.
El API Key se debe guardar en un lugar seguro ya que no se volverá a mostrar y es necesario para acceder a los modelos. Si no se tiene en OpenAI cuenta se puede crear una con un saldo promocional.
Realizar análisis de datos con GPT usando lenguaje natural
Ahora, una vez instalado PandasAI y con una API de OpenAI se puede crear una conexión con el LLM importado la clase OpenAI y creando un objeto con el token. Lo que se puede conseguir con el siguiente código.
from pandasai.llm import OpenAI # Instancia de LLM llm = OpenAI(api_token="YOUR_API_TOKEN")
En donde se debe reemplazar YOUR_API_TOKEN por el token creado en la sección anterior. Tras lo cual se puede importar un conjunto de datos para analizar, cómo puede ser tips de Seaborn, y crear un objeto SmartDataframe con este.
La clase SmartDataframe de PandasAI requiere como parámetros el DataFrame con el conjunto de datos a analizar y la conexión al modelo que se creó anteriormente. Una vez creado el objeto, se puede solicitar cualquier análisis del conjunto mediante lenguaje natural usando el método chat(), por ejemplo, en el siguiente ejemplo se piden los cinco clientes que han dado una mayor propina.
import seaborn as sns
from pandasai import SmartDataframe
# Cargar datos de ejemplo
tips = sns.load_dataset("tips")
# Creación de un SmartDataframe
smartdf = SmartDataframe(tips, config={"llm": llm})
# Pedir información en lenguaje natura
smartdf.chat('What are the five biggest tips given by diners?')total_bill tip sex smoker day time size 170 50.81 10.00 Male Yes Sat Dinner 3 212 48.33 9.00 Male No Sat Dinner 4 23 39.42 7.58 Male No Sat Dinner 4 59 48.27 6.73 Male No Sat Dinner 4 141 34.30 6.70 Male No Thur Lunch 6
Un resultado que se puede comprobar fácilmente usando el método sort_values() y head() como se muestra a continuación.
tips.sort_values(by='tip', ascending=False).head()
Si se ejecutan ambos códigos se puede comprobar que el resultado es el mismo en ambos casos. Indicando que el modelo ha comprendido correctamente lo que tenía que hacer con los datos.
Análisis de datos con GPT en español
En la sección anterior se ha realizado el análisis de datos con GPT en inglés, pero el modelo funciona perfectamente en español u otros idiomas. Lo que facilita la realización de los análisis. Por ejemplo, se puede pedir en español la misma información, pero para seis clientes en lugar de cinco con el siguiente código.
smartdf.chat('¿Cuáles son las seis mayores propinas dadas por los comensales?')total_bill tip sex smoker day time size 170 50.81 10.00 Male Yes Sat Dinner 3 212 48.33 9.00 Male No Sat Dinner 4 23 39.42 7.58 Male No Sat Dinner 4 59 48.27 6.73 Male No Sat Dinner 4 141 34.30 6.70 Male No Thur Lunch 6 214 28.17 6.50 Female Yes Sat Dinner 3
Con lo que se obtienen los mismos resultados que antes con el campo adicional. Ahora que se pueden aumentar la complejidad de las operaciones, en lugar de las seis mayores propinas se puede pedir las mayores, pero en base al porcentaje (no hay un campo porcentaje en la tabla) y ver que se obtiene como resultado.
smartdf.chat('¿Cuáles son las seis mayores propinas en porcentaje dadas por los comensales?')total_bill tip sex smoker day time size tip_percentage 172 7.25 5.15 Male Yes Sun Dinner 2 71.034483 178 9.60 4.00 Female Yes Sun Dinner 2 41.666667 67 3.07 1.00 Female Yes Sat Dinner 1 32.573290 232 11.61 3.39 Male No Sat Dinner 2 29.198966 183 23.17 6.50 Male Yes Sun Dinner 4 28.053517 109 14.31 4.00 Female Yes Sat Dinner 2 27.952481
En este caso se puede ver que el modelo ha creado el nuevo un nuevo campo y ordenado el resultado por este. Si se tiene dudas se puede comprobar el resultado con el siguiente código.
tips['tip_percentage'] = 100 * tips.tip / tips.total_bill tips.sort_values(by='tip_percentage', ascending=False).head(6)
Observándose en ambos casos el mismo resultado.
Creación de gráficas
El modelo no se queda en análisis de datos básicos, también se puede usar para la creación de gráficos, solamente se deben indicar lo que se desea representar en lenguaje natural.
smartdf.chat('Necesito una figura en la que se muestre la propina total en función del número de comensales')
Conclusiones
En esta publicación se ha visto cómo usar el API de OpenAI en PandasAI para la realización de análisis de datos con GPT en Pandas mediante lenguaje natural. Una opción que permite realizar preguntas sobre conjuntos de datos de forma natural. A medida que se simplifique la integración de modelos LLM con las herramientas de análisis de datos estos podrán ayudar a los usuarios a comprender los datos de una forma más sencilla e intuitiva.
La biblioteca PandasAI permite usar los modelos LLM de OpenAI para realizar tareas complejas de forma sencilla. Un uso que se puede complementar con llamadas que se pueden realizar directamente a ChatGPT desde Python.
Imagen de Steve Buissinne en Pixabay
Deja una respuesta