Hola, al que le funciona en local.
Seguro te ha pasado: lees sobre el nuevo modelo de IA que va a revolucionar el mundo, lo descargas emocionado (un archivo de 40GB, casi lo que pesa el ego del Salamero de la oficina) y, en cuanto le das “run”, los ventiladores de tu compu empiezan a gritar como si estuvieran en un concierto de Iron Maiden. Al final, o se congela todo o te da un patatús digital porque te quedaste sin RAM.
<h3>¿Qué onda con llmfit?</h3>
El video nos presenta a llmfit (o <code>lmf</code>), una herramienta que es básicamente un “matchmaker” para tu hardware. Porque aceptémoslo: intentar correr un modelo de 70B parámetros en una laptop de oficina es como querer meter un colchón King Size en un Chevy; va a tronar como ejote.
<ol>
<li>Escaneo de Hardware: La herramienta revisa tu CPU, RAM y, lo más importante, tu VRAM (la memoria de la GPU). No importa si traes una NVIDIA pro o una Mac con Apple Silicon que anda hecha la mocha.</li>
<li>Dynamic Quantization: En lugar de decirte un simple “no cabe”, <code>llmfit</code> busca la versión más nítida del modelo que sí quepa en tu memoria. Es como cuando el Mero Mero del equipo hace magia para que el despliegue quepa en el servidor más barato de AWS.</li>
<li>El Scoring System: Te da una tablita en la terminal con puntajes de Calidad, Velocidad, Ajuste y Contexto. Si dice “Perfect”, jala al puro pelo. Si dice “Too tight”, mejor ni le muevas al avispero porque vas a descunchinflar el sistema.</li>
<li>Integración con Ollama: Lo mejor de todo es que con picar la tecla “d” se baja y se configura solo. Más fácil que convencer al jefe de que la junta pudo ser un correo.</li>
</ol>
<h3>¿Y a mí qué?</h3>
Si eres de los que cuida su privacidad o simplemente no quieres que tu cuenta de OpenAI te deje en la calle, correr LLMs en local es el camino. Con esta herramienta dejas de picar piedra adivinando qué modelo te sirve y vas directo a lo que tu hardware aguanta sin que la memoria se llene hasta el cushul.
Refrán: Lo que hace el mico, hace el mono (No descargues modelos de 70B si tu RAM es de 8GB).

LLMs Locales sin que te dé el patatús