En este laboratorio vamos a explorar los LLM(Large Language Model), el cual es un tipo de modelo de inteligencia artificial diseñado para procesar y generar texto en varios idiomas. Estos modelos están entrenados en grandes cantidades de datos textuales para aprender la estructura, el significado y las reglas gramaticales del lenguaje. Pueden realizar una variedad de tareas relacionadas con el procesamiento del lenguaje natural, como traducción automática, generación de texto, respuesta a preguntas, resumen de texto y más.
Este código muestra un ejemplo de cómo usar la biblioteca langchain para crear un "chain" (cadena) que utiliza un "Large Language Model" (LLM) de OpenAI para responder preguntas basadas en una plantilla de pregunta y respuesta. Las bibliotecas instaladas fueron:
- openai: proporciona acceso a estos modelos a través de una API que permite a los desarrolladores utilizar la capacidad de generación de texto de estos modelos en sus propias aplicaciones.
- langchain: Langchain es una biblioteca que proporciona herramientas y utilidades para trabajar con modelos de lenguaje y cadenas de texto en Python
codigo: promt.py
Este código muestra cómo utilizar la biblioteca langchain para construir un pipeline de procesamiento de lenguaje natural (NLP) que extrae información de un sitio web y luego utiliza un modelo de lenguaje de OpenAI para responder preguntas sobre el contenido extraído. La bibliotecas instladas fueron
- Beautiful Soup: Es una biblioteca de Python que se utiliza para extraer datos de archivos HTML y XML.
- chromadb: Base de datos de vectores de embedding diseñada para almacenar y recuperar vectores de representación semántica de texto.
- tiktoken: Rápido algoritmo BPE desarrollado por OpenAI
- langchainhub: Módulo que proporciona acceso a diferentes modelos y recursos para el procesamiento de lenguaje natural (NLP). codigo: rag.py
Este código carga documentos de texto, divide el texto en fragmentos, genera embeddings para estos fragmentos, indexa los embeddings en Pinecone y luego realiza búsquedas de similitud de documentos en el índice creado. Para el archivo conocimientos.txt que usa el codigo la información esta relacionada a ataques DDoS. La biblioteca instalada fue:
- langchain-pinecone: extensión específica entre la biblioteca langchain y el servicio Pinecone para la indexación y búsqueda eficiente de vectores de embedding generados a partir de texto codigo pineconRag.py
el código implementa un sistema de pregunta-respuesta para el código fuente utilizando la técnica de Retriever-Augmented Generation (RAG), que combina recuperación de información y generación de texto para proporcionar respuestas más precisas y relevantes. Este script muestra cómo utilizar las bibliotecas de procesamiento de texto y aprendizaje automático para realizar la carga de documentos, la generación de embeddings, la indexación y búsqueda de información, así como la participación en conversaciones basadas en texto. codigo: codeRag.py
Nicolás Castro Jaramillo