NVIDIA ha facilitado la creación de un ChatGPT personalizado que opera localmente en las computadoras de escritorio.
Chatbot creado por NVIDIA
Esta nueva herramienta, llamada Chat with RTX, aprovecha el hardware de la PC para simplificar la creación de chatbots. Sin embargo, para disfrutar de esta funcionalidad, se requiere una GPU de NVIDIA en el sistema.
Aunque NVIDIA describe Chat with RTX como una demostración, lo cual implica que el software aún no está completamente refinado y podría tener algunos errores, ofrece una opción atractiva.
Esta aplicación tiene el potencial de agilizar diversas tareas, como la búsqueda de información específica en documentos almacenados en la PC o la generación de resúmenes de videos alojados en plataformas como YouTube.
Trabaja con Mistral o LLaMA 2
Una vez instalada, los usuarios pueden seleccionar entre dos modelos de lenguaje de gran tamaño (LLM) para potenciar Chat with RTX: Mistral, desarrollado por la startup francesa del mismo nombre, o LLaMA 2, creado por Meta.
Después de esta elección, solo necesitan indicar la carpeta donde se encuentran los documentos que desean escanear con el software de NVIDIA, ¡y listo! A partir de ese momento, podrán interactuar con el chatbot haciendo preguntas, al igual que lo harían con aplicaciones como ChatGPT, Gemini o Copilot.
El chatbot de NVIDIA no solo te proporcionará una respuesta con la información en formato de texto, sino que también vinculará los documentos desde los cuales extrajo los datos para que puedas acceder a ellos rápidamente.
Trabaja con documentos de manera local y con internet
Continuando con este ejemplo, si cuentas con un cronograma de actividades definido para tu viaje y está almacenado en un PDF, puedes pedirle a Chat with RTX que extraiga esa información y te la resuma en cuestión de segundos.
Además, Chat with RTX tiene la capacidad de trabajar con elementos que no están almacenados localmente, como videos de YouTube.
Si prefieres extraer información de videos alojados en YouTube en lugar de datos locales, esta aplicación te brinda la facilidad de hacerlo.
¿Cómo acceder a Chat with RTX?
Este chatbot es compatible con todos los modelos de las series RTX 30 y RTX 40 que tengan al menos 8 GB de VRAM. Además, los requisitos mínimos incluyen tener instalado Windows 11, al menos 16 GB de memoria RAM y la versión 535.11 o superior de los controladores de la tarjeta gráfica.
Es importante destacar que es probable que necesites un PC bastante potente para aprovechar al máximo la aplicación.
Según lo mencionado por Tom Warren de The Verge, la aplicación ocupa aproximadamente 40 GB de espacio en el disco y utiliza una instancia de Python que consume alrededor de 3 GB de RAM durante su ejecución.
-
-
-
-
