¿En qué consiste un RAG y qué diferencias hay respecto a los GPT?

Empecemos explicando qué es un RAG y en qué se diferencia de los GPT

¿Qué es un RAG?

RAG son las siglas de Retrieval Augmented Generation, que en español significa Generación Aumentada por Recuperación. Es una técnica en el campo de la inteligencia artificial que combina la búsqueda de información relevante con la generación de texto. Este enfoque permite que, ante una consulta, el sistema recupere datos relevantes de fuentes externas actualizadas y los integre en la generación de la respuesta, proporcionando información más precisa y actualizada.

¿Cómo funciona un RAG?

Como se ha indicado más arriba, ante una consulta, el RAG busca en más fuentes que hayamos podido aportar y las usa para generar una respuesta. la recuperación de datos, todo en tiempo real.

Al preguntar si los GPT son RAG, algunos podrían responder que son distintos, ya que los GPT tradicionales (si es aplicable el término tradicional a soluciones que llevan apenas 2 años y que no han parado de evolucionar en sus versiones) no acceden a información externa proporcionada por el usuario, mientras que los RAG sí pueden utilizar e incorporar dicha información en su base de conocimientos. Aunque como se indica, a la fecha, y dependiendo de las versiones de los GPT, puede no ser tan taxativo esa diferencia y de acuerdo a mi opinión, ser bastantes similares en la actualidad.

Ventajas de los RAG frente a posibles GPT:

• Mayor precisión: Al basarse en información específica y actualizada, los RAG pueden proporcionar respuestas más precisas y menos propensas a «alucinar» (inventar información, principalmente por falta de contexto o por prompts erróneos).
• Mayor relevancia: Los RAG pueden adaptar con mayor precisión sus respuestas a la consulta específica del usuario, en lugar de proporcionar respuestas genéricas al manejar los datos que nosotros le hemos aportado en concreto.
• Capacidad para manejar información actualizada: Al estar conectados a una base de datos que podemos actualizar, los RAG pueden proporcionar información más reciente.

Diferencias entre RAG y GPT

En la actualidad, considero que no hay ya tanta diferencia entre un GPT y un RAG. Considero que al usar una base de conocimientos que hemos definido nosotros como usuarios, como por ejemplo la base de datos de ventas con detalles de clientes, el historial clínico de pacientes, los datos de alumnos, etc., las respuestas serán más precisas y relevantes. En muchas ocasiones un GPT será suficiente si no pretendemos usar datos concretos como los anteriores, aunque dependerá de con qué datos generales ha sido entrenado (por eso recomiendo siempre comparar las respuestas con los distintos GPT).

¿Cuándo usar un RAG y cuándo un GPT?

• RAG: Ideal para tareas que requieren respuestas precisas y basadas en hechos, como responder preguntas sobre un tema específico o generar informes.
• GPT: Ideal para tareas que requieren creatividad y generación de texto abierto, como escribir historias, poesía o código.

¿Se pueden considerar ChatGPT, Gemini o Copilot como RAGs?

La respuesta es sí y no. Es decir, depende. ChatGPT, Gemini y Copilot pueden ser considerados en la actualidad como modelos de lenguaje de gran tamaño (LLM) que incorporan elementos de Retrieval Augmented Generation (RAG).

¿Por qué se les puede considerar RAG?

Aunque estos modelos no siguen al pie de la letra la arquitectura clásica de RAG como ya hemos visto, comparten algunas características clave:

• Acceso a una gran cantidad de información: Estos modelos son entrenados en enormes conjuntos de datos que incluyen texto, código y otras formas de información. Esto les permite acceder a un vasto conocimiento que utilizan para generar respuestas. Y sin necesidad de alimentar con documentos o información que ya tienen.
• Generación de texto contextualizado: Al generar texto, estos modelos pueden acceder y procesar información relevante del contexto de la conversación o de la tarea específica. Esto les permite proporcionar respuestas más informativas y coherentes. Por ello, es importante detallar en un prompt el contexto, aportar datos o compartir documentos..
• Capacidades de búsqueda y recuperación: Aunque no cuentan con un módulo de búsqueda explícito, estos modelos pueden realizar tareas similares a la búsqueda al identificar y recuperar información relevante de sus bases de datos internas.

La evolución de la IA ha permitido que los GPT, que antes no podían procesar documentos proporcionados por el usuario ni acceder a contenido externo como sitios web, ahora puedan hacerlo. Esto ha propiciado una convergencia o evolución; sin embargo, es importante destacar que aún no son RAG puros. Los GPT están entrenados en grandes cantidades de datos hasta su fecha de corte de entrenamiento y no tiene acceso dinámico a datos posteriores a esa fecha a menos que se le permita buscar en la web o incorporar documentos que aportemos.

Así, ChatGPT ha incorporado funcionalidades que permiten a los usuarios cargar documentos, como archivos PDF, para analizarlos y extraer información específica. Esta capacidad se ha implementado a través de diversas herramientas y plugins que facilitan la interacción directa con el contenido de los documentos proporcionados.

ChatGPT puede procesar ya documentos cargados, incluso de datos no estructurados, como gráficos o tablas complejas, pero su precisión puede ser limitada. Es importante qu tengamos precaución al analizar documentos extensos, ya que las respuestas pueden ser menos confiables, especialmente si contienen cientos de páginas. Esto a la fecha de redactar esta entrada, sigue sin ser una solución «segura» ya que no digiere bien documentos muy extensos.

Estas limitaciones también se aplican a modelos como Gemini, Perplexity o Copilot.

Otros métodos para cargar documentos en ChatGPT:

1. Plugins y herramientas de terceros: Existen plugins como AskYourPDF https://askyourpdf.com/ que permiten a los usuarios subir archivos PDF a ChatGPT, facilitando una interacción conversacional con el contenido del documento. Para utilizarlo, es necesario ser usuario de ChatGPT Plus y habilitar los plugins en la configuración de ChatGPT.
2. Extensiones de navegador: Algunas extensiones, como ChatGPT File Uploader, permitían a los usuarios subir archivos de texto, código y otros formatos directamente en la interfaz de ChatGPT. Las actualizaciones de ChatGPT con la ampliación de funcionalidades como la de subir directamente los documentos, han hecho que este tipo de extensiones decaigan.
3. Servicios especializados: Plataformas como ChatPDF https://www.chatpdf.com/es permiten a los usuarios cargar documentos PDF y luego interactuar con su contenido a través de una interfaz basada en ChatGPT, facilitando la obtención de resúmenes, respuestas a preguntas específicas y análisis detallados.

El siguiente diagrama muestra el flujo conceptual del uso del RAG con el LLM. (Gráfica tomada de Amazon: https://aws.amazon.com/what-is/retrieval-augmented-generation/ )