HILO MÍTICO Plataforma Shurmanos IA Team

Project digits​

Estaba viendo la presentación de Jensen Huang en el CES de Las Vegas. Anuncia una variedad de productos interesantes, entre ellos, las tarjetas gráficas nuevas, y una tecnología para agentes de IA que no parecía mal. Lo que me ha parecido más interesante, es que han anunciado un ordenador de IA de sobremesa que tiene el tamaño de un Mac mini más o menos. Sale en mayo por $3.000.

Lo llaman project Digits, y es una caja con un chip de IA de Nvidia de la arquitectura Blackwell, y 128 GB de memoria unificada como en los Macs modernos. Está unido a una CPU con arquitectura ARM, y corre Linux. Se puede usar directamente como estación de trabajo, con una distro de Linux de Nvidia. En Reddit hay un rumor de que es su fork de Ubuntu. En una entrevista para Bloomberg, decía Huang que se puede usar directamente, o desde otro ordenador, como si fuera un servidor de IA en la nube, por ejemplo conectado de forma inalámbrica.

La info de este aparato en la web de Nvidia, dice que puede correr modelos de 200b parámetros (supongo que será q4) y si se unen dos, pues de 405b, que es justo el tamaño del modelo grande de Llama 3.1. Me pregunto si este nuevo ordenador se comerá parte del mercado de estaciones de trabajo más asequibles de IA, como por ejemplo las de Tinybox, que usa su propio stack de software de IA y usa GPUS tanto de Nvidia como de AMD. (precios desde $15.000 a $40.000) Las estaciones de trabajo de Tinygrad, dan de 738teraflops a 1,36 petaflops fp16, mientras que el ordenador de project digits da 1 petaflot, pero es de fp4.


nvidia-project-digits-banner-lg-offset-tablet.jpg


Serie GTX 5000​

Las tarjetas nuevas de gráficos tienen una VRAM máxima de 32 Gb (la 5090), y están basadas en la arquitectura Blackwell. Dicen que son mucho más rápidas que las de arquitectura Ada.

Desde el punto de vista de IA local, no me ha impresionado, porque no tiene mucha memoria para correr modelos locales. Se ve que usan IA para el pixel shader, con lo cual la IA decide qué pixels mostrar, y eso lleva a un ahorro de energía. Me ha llamado la atención esto, porque en algún otro vídeo Huang decía que optimizaban para costo, incluido el energético, en cada parte del proceso. Las alternativas de AMD actuales se ve que usan mucha energía para la potencia que dan. Por cierto, la CEO de AMD es la prima de Huang. (!)

Tienen más sentido para videojuegos que para IA local. Supongo que el mercado de IA local será muy limitado, y por eso han preferido sacar el Project Digits que tarjetas con mucha VRAM que compitan con las que sacan para servidores.

➡️ Nvidia project Digits
➡️ Tinybox ordenadores para IA
 
Última edición:
ottiatio dijo:

Project digits​

Estaba viendo la presentación de Jensen Huang en el CES de Las Vegas. Anuncia una variedad de productos interesantes, entre ellos, las tarjetas gráficas nuevas, y una tecnología para agentes de IA que no parecía mal. Lo que me ha parecido más interesante, es que han anunciado un ordenador de IA de sobremesa que tiene el tamaño de un Mac mini más o menos. Sale en mayo por $3.000.

Lo llaman project Digits, y es una caja con un chip de IA de Nvidia de la arquitectura Blackwell, y 128 GB de memoria unificada como en los Macs modernos. Está unido a una CPU con arquitectura ARM, y corre Linux. Se puede usar directamente como estación de trabajo, con una distro de Linux de Nvidia. En Reddit hay un rumor de que es su fork de Ubuntu. En una entrevista para Bloomberg, decía Huang que se puede usar directamente, o desde otro ordenador, como si fuera un servidor de IA en la nube, por ejemplo conectado de forma inalámbrica.

La info de este aparato en la web de Nvidia, dice que puede correr modelos de 200b parámetros (supongo que será q4) y si se unen dos, pues de 405b, que es justo el tamaño del modelo grande de Llama 3.1. Me pregunto si este nuevo ordenador se comerá parte del mercado de estaciones de trabajo más asequibles de IA, como por ejemplo las de Tinybox, que usa su propio stack de software de IA y usa GPUS tanto de Nvidia como de AMD. (precios desde $15.000 a $40.000) Las estaciones de trabajo de Tinygrad, dan de 738teraflops a 1,36 petaflops fp16, mientras que el ordenador de project digits da 1 petaflot, pero es de fp4.


nvidia-project-digits-banner-lg-offset-tablet.jpg


Serie GTX 5000​

Las tarjetas nuevas de gráficos tienen una VRAM máxima de 32 Gb (la 5090), y están basadas en la arquitectura Blackwell. Dicen que son mucho más rápidas que las de arquitectura Ada.

Desde el punto de vista de IA local, no me ha impresionado, porque no tiene mucha memoria para correr modelos locales. Se ve que usan IA para el pixel shader, con lo cual la IA decide qué pixels mostrar, y eso lleva a un ahorro de energía. Me ha llamado la atención esto, porque en algún otro vídeo Huang decía que optimizaban para costo, incluido el energético, en cada parte del proceso. Las alternativas de AMD actuales se ve que usan mucha energía para la potencia que dan. Por cierto, la CEO de AMD es la prima de Huang. (!)

Tienen más sentido para videojuegos que para IA local. Supongo que el mercado de IA local será muy limitado, y por eso han preferido sacar el Project Digits que tarjetas con mucha VRAM que compitan con las que sacan para servidores.

➡️ Nvidia project Digits
➡️ Tinybox ordenadores para IA
Click para expandir ...
He visto esta mañana la noticia y se me ha pasado por la cabeza comprarme un trasto de esos :elrisas:
Parece que están pensados para desarrolladores, incluye paquete de acceso a sus apis, etc.
 
Algol dijo:
He visto esta mañana la noticia y se me ha pasado por la cabeza comprarme un trasto de esos :elrisas:
Parece que están pensados para desarrolladores, incluye paquete de acceso a sus apis, etc.
Click para expandir ...
Puedes poner que te avisen cuando salga y que te manden noticias por correo. Me he apuntado por si acaso. Luego mirando a ver qué decía la gente en /r/LocalLlama he visto que HP ha anunciado un mini PC similar usando una de esas CPUs híbridas de AMD nuevas. La de HP funciona tb con Windows. Cada noticia nueva que veo en LocalLlama babeo.

➡️ HP Z2 Mini G1a
 
Hoy me he enterado de que existe este sitio, una biblioteca de prompts, pero no sé si realmente será una mejora con respecto a los prompts que suelo usar, lo dejo por aquí

Biblioteca - Anthropic

docs.anthropic.com docs.anthropic.com
 
ottiatio dijo:
¿Qué prompts de los que has hecho tú has encontrado más útiles?
Click para expandir ...
Yo es que soy bastante descriptivo y exacto en lo que quiero ... no tengo reglas, pero suelo conseguir el tipo de respuesta que necesito, a veces reformulo, prueba y error ... Hay gente que recomienda el "truco" de decirle que es un experto en X como "eres un ingeniero nuclear con muchos años de experiencia ..." o "eres un biólogo especializado en entomología .." pero realmente no he visto diferencias entre las respuestas con el "truco" o sin "truco".
 
Mm suelo usar prompts con markdown como éste. Y debajo de la cabecera le explico el rol a adoptar, y la lista esta. Lo uso más con modelos grandes. Esto me ha funcionado mejor para tareas repetitivas.
# Rol
# Objetivo
# Tarea
# Estilo
# Ejemplo
# Ejemplo
 
ottiatio dijo:
Mm suelo usar prompts con markdown como éste. Y debajo de la cabecera le explico el rol a adoptar, y la lista esta. Lo uso más con modelos grandes. Esto me ha funcionado mejor para tareas repetitivas.
# Rol
# Objetivo
# Tarea
# Estilo
# Ejemplo
# Ejemplo
Click para expandir ...
Para tareas más elaboradas sí, puede ser útil y me lo guardo.
Lo que suelo plantear yo la mayoría de veces son consultas, o resúmenes sobre un tema, vamos, que muchas veces uso chatGPT o Gemini como sustitutos de Google
 
ottiatio dijo:

Project digits​

Estaba viendo la presentación de Jensen

Lo llaman project Digits, y es una caja con un chip de IA de Nvidia de la arquitectura Blackwell, y 128 GB de memoria unificada como en los Macs modernos. Está unido a una CPU con arquitectura ARM, y corre Linux.
Click para expandir ...
Es una buena idea. Por lo que entiendo, esa memoria no tendrá la rapidez de una VRAM, pero estará integrada con un CPU con facilidad para multiplicar matrices. Algo económico y eficiente. Tiene muy buena pinta, la verdad.
 
Algol dijo:
Una prueba más en local con Mathstral 7b v0.1 (4.37 Gb):

Es exactamente la misma respuesta que daba Phi 3.1 mini 128K, palabra por palabra. Me ha parecido raro que coincida exactamente la salida, así que he descargado el modelo, he cerrado el programa y vuelto a preguntar y da la misma respuesta literalmente, puntos y comas incluidos. Imagino que los dos modelos vienen de una base común, pero en cualquier caso NO aciertan con la respuesta, y en teoría están especializados en matemáticas.

Ninguno de los modelos que he probado hasta ahora en local ha acertado. Hasta ahora solo ChatGPT 4o y Gemini, ambos on line, responden correctamente.
Click para expandir ...

He probado unos cuantos modelos locales, desde 1b hasta 14b, y el único que lo acierta tal y como está formulado, es Qwen2.5 coder (!) incluso el modelo 7b.

1736529819731.png
 
En cambio, si reformulas la pregunta diciendo algo así como "no uses matemáticas ni probabilidades, responde usando la lógica" acierta. Me pareció muy curioso, al menos es lo que observé yo al replantear la pregunta a estos modelos mini
 
Una alternativa a suno para crear canciones

Mureka

AI music generator that transforms your lyrics and prompts into fully produced songs, all unlimited and royalty-free!
www.mureka.ai www.mureka.ai
 
Deepseek R1

No se si habréis visto los modelos nuevos de razonamiento Deepseek. Funcionan un poco como el o1 de OpenAI, es decir usan el chain of thought por defecto (cadena de razonamiento) Si funcionan bien deberían resolver problemas como el de los calcetines del otro día. He probado una versión cuantizada de uno de ellos, preguntando en inglés, y ha resuelto el problema de los calcetines muy bien. El chisme explica lo de las casillas (pigeonholes) realmente bien, y extrae una conclusión genérica para n número de colores. También se pasa un rato considerando lo de los pares de calcetines, y si eso quiere decir que hay que extraer el par del calcetín, o si cualquiera vale.

Da muchas vueltas al problema en la versión local, pero saca la respuesta correcta. Mi PC tiene 32gb de RAM, y no tengo tarjeta gráfica. Va un poco lento, pero todos estos modelos de razonamiento tardan rato en responder, y en CPU pues peor, claro. La versión grande, está basada en Deepseek v3, y las pequeñas "destiladas" en Qwen2.5 o Llama 3.1.

En la versión buena que corre en su web, lo resuelve como un campeón. Es como un o1 gratis. Pongo tb el enlace al chat de Deepseek que es gratis, y que permite usar R1 pulsando donde pone Deep think.

Código: 
ollama run hf.co/unsloth/DeepSeek-R1-Distill-Qwen-14B-GGUF:Q4_K_M

1737404795787.png


Se puede usar por API ya, y está en Open Router. Está tirado de precio, pero la ventana de contexto es de 64k sólo.

1737405299523.png


➡️ Deepseek R1
➡️ Deepseek chat
 
Última edición:
Buenas tardes, hace unas semanas un shurmano explicó como hacía esquemas con chatgpt y otra aplicación web a la que enlazaba ambas plataformas, y no lo encuentro. Dió una explicación extensa y tonto de mi no lo guardé

Sabéis plataformas donde a través de chatgpt te combine la creación de un esquema con gpt??
 
Ederall dijo:
Buenas tardes, hace unas semanas un shurmano explicó como hacía esquemas con chatgpt y otra aplicación web a la que enlazaba ambas plataformas, y no lo encuentro. Dió una explicación extensa y tonto de mi no lo guardé

Sabéis plataformas donde a través de chatgpt te combine la creación de un esquema con gpt??
Click para expandir ...
Puedes usar una cosa que se llama mermaid para hacer esquemas. Genera una especie de markdown extendido para unos tipos determinados de esquema.

1737470529731.png


Puedes ir a ChatGPT, mirar los GPTs, y busca mermaid chart. Tb puedes hacer esto con otras IAs. Sólo necesitas decirle que use mermaid para hacer la gráfica, y luego copias y pegas el código en Mermaidchart.com, o en cualquiera de los programas que soportan Mermaid, como Notion o Typora.

1737470738522.png


Si te dedicas a la informática, hace cosas como ésta.

1737471540274.png
 
Última edición:
Si usas algo como Notion, y tienes la suscripción de IA, puedes simplemente pulsar CTRL-J en una página, poner un prompt como éste, "Crea un esquema de los personajes y sus relaciones de El viaje de Chihiro. Usa Mermaid." Y sale algo como esto.

1737473076998.png
 
@ottiatio muchísimas gracias! Ya lo encontré era con plantuml, no es para mí, es para mí mujer, algo sencillo pero buscando la tormenta de ideas, de todas formas, lo que me propones, tanto Mermaid como notion lo veo mucho más interesante y completo que lo que había visto, esta tarde le hecho un vistazo, pruebo y ya posteo con que me he quedado y por qué, sobre todo por dar un poco de feedback, pero de verdad, me has solventado mucho, te vuelvo a agradecer las respuestas :)
 
Muy interesante lo del deepSeek @ottiatio
Por cierto, que nadie ha comentado nada de Alia, la flamante IA española especializada en todas las lenguas que se hablan en la península, oficialmente ese es una de las mayores razones para que exista.
No sé si alguno de vosotros se había imaginado a unos cuantos funcionarios haciendo investigación de vanguardia para superar el concepto de transformers con otro tipo de arquitectura revolucionaria.
Si alguno pensaba eso, lamento decirle que no, parece ser que la super IA española que habrá costado un chorro de millones que pagamos todos no es más que un llama tuneado. No lo he comprobado de primera mano, es algo que he leído, pero desgraciadamente, me cuadra.
 
Algol dijo:
Muy interesante lo del deepSeek @ottiatio
Por cierto, que nadie ha comentado nada de Alia, la flamante IA española especializada en todas las lenguas que se hablan en la península, oficialmente ese es una de las mayores razones para que exista.
No sé si alguno de vosotros se había imaginado a unos cuantos funcionarios haciendo investigación de vanguardia para superar el concepto de transformers con otro tipo de arquitectura revolucionaria.
Si alguno pensaba eso, lamento decirle que no, parece ser que la super IA española que habrá costado un chorro de millones que pagamos todos no es más que un llama tuneado. No lo he comprobado de primera mano, es algo que he leído, pero desgraciadamente, me cuadra.
Click para expandir ...
No sabía que existía, entiendo que te refieres a llama con la IA que se puede instalar en cualquier pc si tener que tirar de internet verdad??

Si es así, me cuadra todo, producto 100% español pagado con los impuestos de "todes" como el pajaporte :qmeparto:
 
Ederall dijo:
No sabía que existía, entiendo que te refieres a llama con la IA que se puede instalar en cualquier pc si tener que tirar de internet verdad??

Si es así, me cuadra todo, producto 100% español pagado con los impuestos de "todes" como el pajaporte :qmeparto:
Click para expandir ...
Efectivamente, Llama, el modelo que liberó Meta :qmeparto:
 
Se pueden descargar los modelos esos e incluso están cuantizados. Estoy descargando uno que se llama Salamandra. Como veis, este modelo está a favor de la reforma gramatical del catalán. 😉 Estoy mirando los modelos estos, y han sacado un montón, sobre todo para las lenguas regionales. En la info que ponen en Huggingface de la tarjeta del modelo, ponen que tienen una barbaridad horrorosa de hardware.

La respuesta que pongo abajo, es la mejor que me ha dado. La primera vez que le he preguntado qué le parecían los pronoms febles, me ha dicho que le importan una mierda. 😂 He estado jugando con los hiperparámetros en el modelfile como temperature y top_k a ver si consigo que de respuestas menos aleatorias y más razonables, pero no lo he conseguido.

Salamandra se identifica como un modelo llama al poner /show info en ollama.

1737548896638.webp


➡️ Alia, modelos de texto

1737479377492.png
 
Última edición:
He probado a generar el código de mermaid en Deepseek v3 en su web y depués lo he pegado en Typora. No he activado lo del DeepThink ni nada. Esto es lo que sale. Me parece muy bien, comparado con lo que hace Notion (que creo usa modelos de OpenAI y Anthropic) y además es gratis ahora mismo.

1737925435522.png
 
Hola, si habéis usado Venice.ai en algún momento, igual os dan unas criptomonedas por uso. Para verlo, vais a la barra izquierda, tokens, y claim airdrop.
 
ottiatio dijo:
Hola, si habéis usado Venice.ai en algún momento, igual os dan unas criptomonedas por uso. Para verlo, vais a la barra izquierda, tokens, y claim airdrop.
Click para expandir ...
Tengo pendiente echarle un vistazo al Venice.ai
 
Algol dijo:
Tengo pendiente echarle un vistazo al Venice.ai
Click para expandir ...
Si tienes una cuenta ya, merece la pena entrar a ver lo del airdrop. Según lo que lo hayas usado, es una barbaridad de dinero (al menos para mí) 😉
Se ve que con la cripto ésta, te dan potencia de computación a través de la API. Ahora mismo tienen el Deepseek r1 70b en API y en la web para pro. SI no quieres tener eso, lo puedes vender como he hecho yo.
 
ottiatio dijo:
Si tienes una cuenta ya, merece la pena entrar a ver lo del airdrop. Según lo que lo hayas usado, es una barbaridad de dinero (al menos para mí) 😉
Click para expandir ...
No tengo cuenta, por eso decía que tengo pendiente echarle un vistazo al sitio y ver si me resulta interesante.

Estos días todo mi tiempo libre está yendo al proyecto de hacer un video documental sobre la historia de la IA con imágenes, voces y sonido generados 100% con IA. Mucho trabajo, sobre todo porque voy aprendiendo sobre la marcha en muchos palos. Tengo 14 minutos de video y estoy en el tramo final, 2016 tras la derrota de Lee Sedol a manos de AlphaGo en 2016.
 
Algol dijo:
No tengo cuenta, por eso decía que tengo pendiente echarle un vistazo al sitio y ver si me resulta interesante.

Estos días todo mi tiempo libre está yendo al proyecto de hacer un video documental sobre la historia de la IA con imágenes, voces y sonido generados 100% con IA. Mucho trabajo, sobre todo porque voy aprendiendo sobre la marcha en muchos palos. Tengo 14 minutos de video y estoy en el tramo final, 2016 tras la derrota de Lee Sedol a manos de AlphaGo en 2016.
Click para expandir ...
Fascinante. ¿Qué vas a hacer con el vídeo cuando lo termines?
 
Debes iniciar sesión o registrarte para participar.
Volver
Arriba