RAG o fine-tuning: qué necesita su proyecto de IA

La respuesta corta

La generación aumentada por recuperación (RAG, por sus siglas en inglés) busca fragmentos en sus propios documentos en el momento en que se hace una pregunta y se los entrega al modelo, para que la respuesta se base en ellos. El fine-tuning, o ajuste fino, sigue entrenando un modelo existente con ejemplos, para que aprenda un formato, un tono o un patrón de decisión.

Una forma fácil de recordarlo: RAG le da al modelo mejor información; el ajuste fino le da mejores hábitos. Si su proyecto de IA debe responder con documentos de la empresa que cambian, empiece con RAG. Piense en el ajuste fino solo cuando el modelo ya tiene la información correcta y aun así hace mal la tarea.

¿Qué es la generación aumentada por recuperación (RAG)?

RAG funciona como un empleado que revisa el manual antes de responder. El modelo no cambia. Una configuración típica tiene cinco pasos:

Reunir el contenido aprobado: políticas, manuales, artículos de ayuda, listas de precios.
Dividirlo en fragmentos lo bastante pequeños para ser precisos y lo bastante grandes para conservar su sentido.
Indexar los fragmentos, por lo general convirtiendo cada uno en una lista de números que representa su significado (un embedding) y guardándolos en una base de datos vectorial, para encontrar textos parecidos aunque usen otras palabras.
Recuperar los fragmentos que corresponden a cada pregunta, filtrados según lo que la persona que pregunta puede ver.
Generar la respuesta con esos fragmentos, idealmente con una cita de cada uno.

Como los documentos se consultan cada vez, actualizar una respuesta significa actualizar el documento. No hace falta volver a entrenar nada.

¿Qué es el fine-tuning o ajuste fino?

El ajuste fino continúa el entrenamiento de un modelo con un conjunto de ejemplos: una entrada y la salida que usted quiere. Con suficientes ejemplos buenos, el modelo repite el patrón con más constancia, por ejemplo una estructura fija de respuesta, categorías propias para clasificar tickets o el estilo de la empresa.

Es una mala forma de agregar datos que cambian. Los precios, las políticas y el inventario cambian más rápido de lo que conviene volver a entrenar, y un modelo puede mezclar lo aprendido con su conocimiento general sin avisarle. Además, el ajuste fino produce una nueva versión del modelo que alguien debe alojar, probar y reemplazar cuando se actualice el modelo base.

RAG y ajuste fino, lado a lado

Datos que cambian: con RAG, se actualiza el documento. Con ajuste fino, se reúnen ejemplos nuevos y se vuelve a entrenar.
Mostrar de dónde salió una respuesta: RAG puede citar el fragmento. Un modelo ajustado no puede señalar una fuente.
Usuarios que ven contenidos distintos: RAG puede filtrar los fragmentos por permisos antes de que el modelo los vea. Un modelo ajustado sabe lo mismo para todos.
Formato, tono o etiquetas estrictos: el ajuste fino es más fuerte, después de probar instrucciones claras y ejemplos en la instrucción.
Trabajo inicial: RAG necesita documentos limpios y ordenados. El ajuste fino necesita muchos ejemplos buenos y coherentes.
Trabajo continuo: RAG necesita a alguien que mantenga al día los documentos. El ajuste fino necesita volver a entrenar y a probar cuando cambian las reglas o el modelo base.
Falla típica: RAG recupera un fragmento equivocado o viejo. El ajuste fino aprende un mal hábito de ejemplos pobres.

Cuándo usar RAG, ajuste fino o ambos

Elija RAG para responder preguntas del personal o de clientes con manuales y políticas, buscar en contratos o notas de casos, y cualquier respuesta que deba poder rastrearse hasta una fuente o limitarse según permisos.

Elija el ajuste fino para clasificar mensajes en sus propias categorías, convertir notas desordenadas en un resumen con formato fijo o mantener un estilo de respuesta que las instrucciones claras no logran sostener.

Combínelos cuando importen las dos cosas: RAG aporta los datos y un modelo ajustado los presenta en la forma requerida. Hágalo en ese orden. Construya primero la recuperación, mida lo que sigue fallando y agregue ajuste fino solo para un problema claro de comportamiento. El ajuste fino no arregla una recuperación que encuentra el fragmento equivocado.

Respuestas con fundamento y protección de datos privados

Fundamentar una respuesta significa mantenerla atada a fuentes aprobadas. Indique al modelo que responda solo con los fragmentos recuperados, que muestre la cita y que diga con claridad cuando los documentos no cubren la pregunta en lugar de adivinar. Revise los permisos antes de la recuperación, para que un fragmento que la persona no puede ver nunca llegue al modelo.

Tenga cuidado con los datos privados en el ajuste fino. Los ejemplos de entrenamiento pasan a formar parte del modelo, un modelo a veces puede repetir partes de lo que aprendió y no puede aplicar permisos por usuario a ese conocimiento. Quite nombres, números de cuenta y otros datos que identifiquen a alguien, salvo que haya una razón clara y aprobada para conservarlos.

Cómo probar cualquiera de los dos

Escriba un conjunto de prueba con preguntas o tareas reales y la respuesta esperada, incluidas preguntas que el sistema debe rechazar y preguntas de usuarios con permisos distintos.
Revise la recuperación por separado. En RAG, confirme que encontró los fragmentos correctos antes de juzgar la redacción de la respuesta.
Compare opciones con las mismas entradas: una instrucción bien escrita, RAG, ajuste fino y una combinación.
Pida a alguien que conozca el tema que califique la exactitud, la utilidad y el tono.
Ejecute el mismo conjunto antes y después de cada cambio en documentos, instrucciones o versiones del modelo, y detenga un lanzamiento si bajan los resultados.

Después del lanzamiento, mantenga una lista de las preguntas que no pudo responder. Esos huecos suelen indicar documentos que faltan o están viejos, más que un problema del modelo.

Dónde encaja ASL

ASL Help Engine es un servicio de respuestas basado en recuperación para la ayuda dentro de un producto. Responde solo con contenido que una persona responsable ya revisó, adjunta a cada afirmación el documento, la sección, el fragmento exacto, la versión y el enlace a la fuente, y lo dice cuando falta evidencia. El acceso se revisa antes de la recuperación, y un conjunto fijo de preguntas revisadas, con citas y rechazos esperados, se ejecuta antes y después de cada versión.

Para preguntas de clientes, Viavitna (página en inglés) responde solo con el contenido que usted aprueba, elimina las afirmaciones que sus revisiones no pueden asociar a un fragmento y puede funcionar en equipos de su propiedad. Para integrar la recuperación en sus propios sistemas, vea el desarrollo de software a medida.

Preguntas frecuentes

¿Es mejor RAG que el ajuste fino?

Ninguno es mejor en general; resuelven problemas distintos. RAG suele ser el punto de partida cuando las respuestas deben salir de sus documentos. El ajuste fino ayuda cuando el modelo tiene la información correcta pero sigue usando el formato, las etiquetas o el tono equivocados.

¿RAG entrena el modelo de IA con mis documentos?

No. El modelo no cambia; los fragmentos se buscan y se le envían con cada pregunta. Si el modelo lo aloja otra empresa, esos fragmentos sí salen de sus sistemas, así que revise las condiciones de datos de ese proveedor.

¿El ajuste fino puede enseñarle a un modelo los datos de la empresa?

No de forma confiable. El ajuste fino es bueno con patrones y débil para mantener datos al día o con fuente. Use RAG para los datos que cambian o deben citarse, y el ajuste fino, si hace falta, para la forma de redactar.

¿Qué es una base de datos vectorial?

Un almacén de fragmentos guardados como representaciones numéricas de su significado, para encontrar textos con sentido parecido aunque usen otras palabras. Es una pieza común de un sistema RAG, aunque para pocos documentos una búsqueda por palabras también puede servir.

¿Cómo evito que un chatbot con RAG invente respuestas?

Haga que responda solo con los fragmentos recuperados, que muestre citas, que cada afirmación se compare con su fragmento y que lo diga cuando los documentos no cubren una pregunta. Incluya en sus pruebas preguntas que debe rechazar.

Guías relacionadas

Conozca el producto completo

Consulte funciones, acceso actual y límites