Para juguetear esta bien , pero poco a poco querrás algo más potente. Que tienes dinero pues te pillas un equipo para jugar a estas cosas ( yo tengo uno) .
Qué envidia más grande. Sí que es así, siempre quiero un modelo más potente. Estaba probando el modelo gemma 2 9b de Google que ha salido hace poco, y funciona en mi PC, pero va más bien lento y mucho más lento que el llama 3 8b por ejemplo, que va muy bien, pero con una ventana de contexto que no es muy grande.
La otra cosa, es que me da la impresión que se puede usar ollama dentro de la línea de comandos con los pipes de Linux. Seguro que tiene aplicaciones divertidas dando un poco de inteligencia a las cosas que corren en el shell.
Me sorprende que ese modelo entienda español, porque es muy limitado. En estos chismes, creo que hay dos cosas diferentes, una la inteligencia del modelo, y la otra la cantidad de datos en la cual los hayan entrenado. Lo que tienen estos modelos pequeños, incluso el Phi 3 de Microsoft, es que son listos, pero no saben mucho.
Me sorprende que ese modelo entienda español, porque es muy limitado. En estos chismes, creo que hay dos cosas diferentes, una la inteligencia del modelo, y la otra la cantidad de datos en la cual los hayan entrenado. Lo que tienen estos modelos pequeños, incluso el Phi 3 de Microsoft, es que son listos, pero no saben mucho.
Lo que hace ollama es que creo que lanza el modelo cuando lo pide cualquier aplicación, pero si no lo usas un rato, lo descarga de memoria, con lo cual sólo estaría corriendo el proceso que tenga para detectar eso y lanzar los modelos.
Para cosas de programación, quizás haya modelos mejores. Hay uno que es el deepseek-coder-1.3b-instruct que ocupa unos 776mb, que quizás corra en tu PC. Le he preguntado por operadores en bash y esto es lo que me dice. Para probarlo, pones ollama run sinanakkoyun/deepseek-coder-1.3b-instruct
El chisme no aprende si no lo entrenas. Le cuentas algo ahora, y la siguiente vez que lo lanzas ya no se acuerda.
Medprompt Experiments in prompt engineeringEl chisme no aprende si no lo entrenas. Le cuentas algo ahora, y la siguiente vez que lo lanzas ya no se acuerda.
Se puede entrenar, pero necesitas un PC mucho más potente para entrenar que para inferencia. Hay sitios en la web en los cuales puedes entrenar modelos, pero tienes que pagar por el tiempo de GPU. Creo recordar que hay un curso en Coursera de Andrew Ng donde te explican como hacerlo. Tb este mismo autor tiene un sitio que se llama Deeplearning.ai para aprender todo tipo de cosas con IA generativa.
Para tener acceso a archivos, la gente usa una cosa que se llama RAG (Retrieval augmented generation) Si tienes que programarlo tú, creo que hay librerías que creo que te ayudan a hacerlo. (No he hecho esto nunca)
Hay otra cosa que se puede hacer, que es pasar más tiempo con el prompt. Microsoft publicó un artículo el año pasado sobre esto, una cosa que llaman Medprompt. Tienen una variedad de técnicas para que cambiando el prompt, puedas hacer que el modelo responda mucho mejor.
- Una es poner algo del contenido en el prompt para explicarle al modelo el tema sobre el cual estás hablando. Por ejemplo, si quieres que el chisme hable sobre un par de leyes de un tema en particular, le pones un resumen de las leyes pequeño de manera estructurada. Yo lo formateo en markdown para que el chisme se entere mejor. Los resultados que Microsoft tuvo con esto eran muy buenos.
- Otra es ponerle unos ejemplos del tipo de resultado que quieres.
- Otra es hacer lo que llaman el Chain of thought. Una manera fácil de hacerlo, es poner en el prompt "Let´s think step by step" y el chisme te explica los pasos y se aclara mejor.
La idea es muy buena, porque te permitiría usar modelos pequeños a los cuales pones prompts muy especializados, que te permitirían llegar cerca del rendimiento de los modelos grandes.
Hay más técnicas para mejorar el prompt. El resúmen más accesible que he encontrado, está en Medium, hecho por un tipo de Singapur, Sau Sheong, que se dedica a la informática, y creo que ahora está en nosequé cosa del gobierno de tecnología. Está detrás de un paywall, si tienes suscripción a Medium, es interesante de leer.
Hehe, están locos estos romanos. ¿Es ese el modelo de phi 2 2.7b? Si es ese, quizás funcione mejor el de chat. Tienen modelos optimizados para charlar, que en ese es ollama run phi:chat
Si vas a la web de ollama en https://ollama.com/library puedes elegir la cuantizacion y variante del modelo, los buscas arriba a la derecha, y cuando sale el modelo que quieres, eliges la variante y cuantización del modelo. La manera en que entiendo la cuantización, es que es un poco como la resolución de las imágenes. Son más pequeños, pero no funcionan tan bien. Los mejores modelos son los que pone fp16 que suelen ser muy grandes para mi, o los q8 después, y cuanto menor el número, menos precisión. Con los q4 suelen ir bien.
Me pregunto si te funcionaria un modelo phi 3. Hay mucha diferencia de los phi 3 con la generación anterior.
Si pones ollama run phi3, por defecto te trae el modelo de 4k de contexto, con cuantización q4_0, que va bien. Ese ocupa 2.2gb. Si ese es muy grande, puedes probar ollama run phi3:3.8b-mini-4k-instruct-q3_K_S que es 1.7 gb.
Introducing Llama 3.1
Todos sus modelos son open source, y sí que es una UI sobre esos modelos. El token VVV va sobre Base, pero no es algo comunitario. La gente que ha hecho Venice tiene parte de los tokens, les dan tokens a la gente que escribe el software o da potencia de computación, e hicieron un airdrop para usuarios a final de enero. Si tienes VVV al hacer staking te dan un número de unidades de procesamiento, y si tienes 100 y las pones para staking te dejan usar Venice gratis, pero no te dan nada por el staking.
Curioso pero no le veo la sostenibilidad como a todos los proyectos crypto que se basan en un valor artificial de un token con un dueño.
La razón por la que pienso que va a funcionar, es que si tú compras el token éste, y lo pones para staking, los tios estos te dan inferencia privada o desde la API o desde su web. El token sigue siendo tuyo.