De cosas interesantes nuevas, algunas de las que me han llamado la atención han sido,
- El modelo QwQ, de Alibaba. Es un modelo al estilo de o1, con razonamiento cuando se hace la inferencia, hay una demo en Huggingface. Es un preview, supongo que la versión final irá mejor. La gracia del invento es que es 32b, y pesa 20Gb cuantizado. Está en la librería de ollama. La versión q4 debería caber en una tarjeta de vídeo de 24gb. Se ve que hay gente que lo está usando para código.
Demo de QwQ
- LM Studio, que hace tiempo que no usaba, ahora soporta Intel Arc. Las tarjetas de Intel de gráficos están tiradas de precio, y suelen tener más Vram que las de Nvidia por menos precio. No son compatibles con muchas cosas, y van más lento, pero dado que se puede usar LM Studio a través de una API compatible con la de OpenAi, es una opción barata para inferencia.
- Intel AI Playground, que va para las tarjetas de Intel de gráficos o para los Intel ultra. Sólo soporta unos cuantos modelos, y por lo que parece, no usan versiones cuantizadas, pero es muy fácil de usar, y es una manera muy fácil de usar Dreamshaper para imágenes de forma local, sin tener un hardware de gráficos espectacular. Tb permite chat y alguna otra cosa.