¿Puede mi PC ejecutarlo?
Los modelos de IA abiertos pueden funcionar en tu propio ordenador, gratis y sin enviar tus datos a ninguna parte. Dinos qué tienes y mira cuáles caben.
Estimaciones para una conversación de unos 8000 tokens. Los documentos largos necesitan más memoria, y la velocidad también depende del resto de tu ordenador. Los tamaños de los modelos vienen de Hugging Face. 4 bits, comprimidoi: La compresión reduce un modelo para que quepa en menos memoria: con 8 bits es casi idéntico a la calidad completa; con 4 bits es un poco menos preciso, pero ocupa aproximadamente un tercio de la memoria.
Cómo ejecutar un modelo en tu ordenador
- Instala una aplicación gratuita como Ollama o LM Studio (Windows, Mac y Linux). Ollama ↗ · LM Studio ↗
- Busca el modelo por su nombre en la aplicación y descarga la versión comprimida (a menudo llamada Q4_K_M) que quepa en tu memoria.
- Chatea con él sin conexión: nada de lo que escribes sale de tu ordenador.