Software Venice.ai

ottiatio

ottiatio

Shurmano Logia
Nº Ranking
76
Shurmano Nº
7056
Desde
22 Feb 2024
Mensajes
6,887
Reacciones
136,576
Hola, no sé si habréis visto Venice.ai que lanzaron el otro día. Los modelos que tienen ahora son un Nous Hermes Theta Llama 3, y Dogge 70b. Los dos son versiones sin alineamiento de Llama 3. Quizás hayáis jugado ya con otras versiones de Hermes de Nous Research.

También tienen Stable diffusion XL y otros dos modelos para crear imágenes. Puedes usar bastantes prompts sin pagar suscripción, y si pagas $50 al año, tienen prompts ilimitados, te permiten editar el prompt del sistema y hacer alguna otra cosilla.

Se puede usar como webapp en móviles. Guarda la información de los prompts y respuestas localmente.
 
Última edición:
ottiatio dijo:
Theta
Click para expandir ...
Big Boobs GIF



:gaydude::gaydude:
 
Interesante shur
Crees que renta pillar la membresía?
 
Pues tiene buena pinta, solo leyendo
 
Como duda, con mi tostadora dudo mucho que pueda juguetear con nada de eso... ¿Existe alguna IA que funcione en PC's de bajos recursos? ¿De cuánto hablaríamos, a nivel de especificaciones generales?.
 
McClellan dijo:
Como duda, con mi tostadora dudo mucho que pueda juguetear con nada de eso... ¿Existe alguna IA que funcione en PC's de bajos recursos? ¿De cuánto hablaríamos, a nivel de especificaciones generales?.
Click para expandir ...
Que va shur
si quieres algo en local debes tener un pc potente
 
ottiatio dijo:
Hola, no sé si habréis visto Venice.ai que lanzaron el otro día. Los modelos que tienen ahora son un Nous Hermes Theta Llama 3, y Dogge 70b. Los dos son versiones sin alineamiento de Llama 3. Quizás hayáis jugado ya con otras versiones de Hermes de Nous Research.

También tienen Stable diffusion XL y otros dos modelos para crear imágenes. Puedes usar bastantes prompts sin pagar suscripción, y si pagas $50 al año, tienen prompts ilimitados, te permiten editar el prompt del sistema y hacer alguna otra cosilla.

Se puede usar como webapp en móviles. Guarda la información de los prompts y respuestas localmente.
Click para expandir ...
Si tu lo dices es cierto, pero ¿te llevas comisión? Porque he visto a muchos comerciales poniéndole menos ganas a su producto ajajaja
 
Jorge2019 dijo:
Que va shur
si quieres algo en local debes tener un pc potente
Click para expandir ...

Sí, me imaginaba algo así.
Estuve revisando en su momento con Ollama y estaba pidiendo 16 GB de RAM y un procesador bastante potente.
Pero por preguntar, no perdía nada.
 
McClellan dijo:
Sí, me imaginaba algo así.
Estuve revisando en su momento con Ollama y estaba pidiendo 16 GB de RAM y un procesador bastante potente.
Pero por preguntar, no perdía nada.
Click para expandir ...
prueba con LM Studio
puedes descargar algún modelo ligero
pero como mínimo piden 4gb de ram
 
Jorge2019 dijo:
Interesante shur
Crees que renta pillar la membresía?
Click para expandir ...
Yo creo que por $50 al año sí. Me pasé la tarde ayer jugando con las variantes que tienen de modelos gráficos, y van muy bien. También parece una cosa que no tiene censura como los modelos las compañías grandes. No parece que guarden nada en sus servidores. Si entro desde el móvil no se ven los chats que se ven desde el ordenador. También, tienen las versiones grandes, y enteras de Llama 3 (un par de ellas), el contexto no es muy grande, pero la calidad de las respuestas está bien. El ChatGPT vale $20 al mes, y esto es $50 al año.

La otra cosa, es que el tipo que lo ha organizado, parece una especie de activista de la privacidad, es el tipo que hizo Shapeshift, para intercambiar criptomonedas sin KYC.
 
Última edición:
MeChupaUnHuevo dijo:
Si tu lo dices es cierto, pero ¿te llevas comisión? Porque he visto a muchos comerciales poniéndole menos ganas a su producto ajajaja
Click para expandir ...
Leches, pues sería una idea. Si encuentro un mail del tio en cuestión le pregunto a ver si me da algo. Con el precio que tienen no creo que vayan a dar mucho a nadie, pero es una buena idea. :elrisas:
 
Jorge2019 dijo:
prueba con LM Studio
puedes descargar algún modelo ligero
pero como mínimo piden 4gb de ram
Click para expandir ...

Es probable que le meta fuego a mi patata. Tiene 6GB (Lo cual no es mucho decir precisamente) pero el procesador sí que es de lo más básico.
Le echaré un ojo a ver, gracias.
 
McClellan dijo:
Sí, me imaginaba algo así.
Estuve revisando en su momento con Ollama y estaba pidiendo 16 GB de RAM y un procesador bastante potente.
Pero por preguntar, no perdía nada.
Click para expandir ...
Siempre puedes probar un modelo pequeño, como Phi3 cuantizado, que creo son 2,5 gb.
 
ottiatio dijo:
Siempre puedes probar un modelo pequeño, como Phi3 cuantizado, que creo son 2,5 gb.
Click para expandir ...

No es tanto el peso, como la potencia. Tengo el portátil muy bien optimizado, pero no deja de ser una cosa básica, básica. 6GB de RAM y un procesador dual core no dan para mucha cosa.
Le echaré un ojo a ver, gracias.
 
zaumadsein dijo:
Pues tiene buena pinta, solo leyendo
Click para expandir ...
He puesto la webapp en la primera página de apps del móvil, para ver qué tal va. El chisme no tiene acceso a la web, pero la verdad es que se espabila muy bien. Le estuve preguntando sobre un sitio al que me voy a mudar, que no he estado nunca y el chisme sabía de todo. (Lo comprobé luego con ChatGPT)
 
ottiatio dijo:
He puesto la webapp en la primera página de apps del móvil, para ver qué tal va. El chisme no tiene acceso a la web, pero la verdad es que se espabila muy bien. Le estuve preguntando sobre un sitio al que me voy a mudar, que no he estado nunca y el chisme sabía de todo. (Lo comprobé luego con ChatGPT)
Click para expandir ...
Si está actualizado y ha sido bien entrenado tampoco es imprescindible que acceda a la web
 
Lo de ollama, si uno tiene un PC que lo pueda correr, no es una mala opción tampoco. Corre como si fuera un servicio, y tiene una API medio hecha como la de OpenAI. Se ve que cuando no lo usas unos minutos, se descarga de memoria para no ocupar espacio. La gracia es que lo pueden compartir varias aplicaciones.

He instalado una cosa que se llama tlm - Local CLI Copilot que ayuda por ejemplo con el powershell o el shell que sea. (Lo he puesto en Windows, pero corre en Mac y Linux tb.) Se le puede preguntar en lenguaje natural sobre comandos varios, y el chisme los escribe, y si quieres, los explica o ejecuta. Esto corre con Codellama bajo Ollama. Lanza el modelo apropiado automáticamente, y al dejar de usarlo, lo descarga.
 
Me suscribí y estuve jugando al juego de rol de Call of Cthulhu con un prompt.

Iba muy bien hasta que me quedé sin contexto, y en vez de alucinar, el chisme me dijo que no podía jugar más y empezase otra conversación. Esto era a mitad de una aventura que iba muy bien, lo que fué una lástima.

Luego probé el mismo prompt con ChatGPT y estuve jugando unas horas sin problemas.
 
wendygo dijo:
Que promp usaste ?
Click para expandir ...
Este de abajo es el prompt que usé. Está en la web esa que cito en el post anterior. En esa web tienen muchos prompts como ese. Yo tengo variantes que puedes hacer en minutos, de un asesino en épocas variadas de la historia, y de Star Trek. Este prompt funciona perfecto en los ChatGPTs, sobre todo el 4. Lo he puesto en Google translate y funcionaba tb en español.

Si cambias estas líneas, puedes jugar a Breaking bad, the RPG. 😉

Markdown (sabor a GitHub): 
GAME: Breaking bad
BOOKS: Any Random Campaign Book
ROLE: Keeper
THEME: Middle-aged chemistry teacher becomes crack manufacturer and dealer
TONALITY: Angry middle-aged man
CHARACTER: Walter White, a chemistry teacher, discovers that he has cancer and decides to get into the meth-making business to repay his medical debts. His priorities begin to change when he partners with Jesse.


➡️Este es el prompt
 
Última edición:
McClellan dijo:
No es tanto el peso, como la potencia. Tengo el portátil muy bien optimizado, pero no deja de ser una cosa básica, básica. 6GB de RAM y un procesador dual core no dan para mucha cosa.
Le echaré un ojo a ver, gracias.
Click para expandir ...
Ví el otro día unos modelos de IA de Alibaba llamados Qwen2, y pensé en tu PC. Supongo que si tienes 6GB pero lo tienes bastante optimizado, sin systemd ni un DE ni nada de eso, quizás funcionase. El modelo Qwen2 0.5b pesa unos 352 mb, y va a toda velocidad en mi PC (6 cores, 12 threads, 16 gb) No tiene mucha información dentro, pero esto es una demo de lo que hace. Corre en el terminal y a través de la API. El 1.5b tb va bien. Una vez que instalas ollama, pones en el terminal ollama run qwen2:0.5b

1719927452365.png
 
ottiatio dijo:
Ví el otro día unos modelos de IA de Alibaba llamados Qwen2, y pensé en tu PC. Supongo que si tienes 6GB pero lo tienes bastante optimizado, sin systemd ni un DE ni nada de eso, quizás funcionase. El modelo Qwen2 0.5b pesa unos 352 mb, y va a toda velocidad en mi PC (6 cores, 12 threads, 16 gb) No tiene mucha información dentro, pero esto es una demo de lo que hace. Corre en el terminal y a través de la API. El 1.5b tb va bien. Una vez que instalas ollama, pones en el terminal ollama run qwen2:0.5b

1719927452365.png
Click para expandir ...
Que ventajas le ves tener una ia en local?
 
wendygo dijo:
Que ventajas le ves tener una ia en local?
Click para expandir ...
Una ventaja es la privacidad. Por ejemplo, hace un par de semanas o así Open AI contrató a un general retirado experto en ciberseguridad para su junta directiva. Cualquier cosa que le digas a la IA puede terminar en manos de algún gobierno, con lo cual hay cosas que no vas a querer poner en una IA corporativa como ChatGPT.

Otra, es el gasto. Si por ejemplo quieres poner una IA en Obsidian para que lea tus ficheros en Markdown, y poder charlar con la IA sobre ellos, pues no tienes que usar uno de los modelos caros como los de Anthropic u OpenAI, dado que funcionan a través de la API.

Otra ventaja es el alineamiento con tus valores, no los de una corporación. Si le preguntas a Gemini cualquier cosa política, por ejemplo cuando son las elecciones generales en algún país, no te lo quiere decir. Todas las IAs grandes están censuradas. Los modelos pequeños se pueden descensurar, y por ejemplo hay versiones de Llama 3 a las que las han quitado la censura.

La otra cosa, es que hay modelos que están muy especializados en algo en particular, y son casi tan buenos como los modelos grandes en ese dominio, o modelos que no hay en otra parte. Por ejemplo, Samantha, es un modelo al cual han entrenado con textos de psicología. Tb hay modelos locales muy buenos para programación.

Si en algún momento tienes suficiente potencia en tu PC en casa para tener una IA que corra siempre, que mire todos tus ficheros, te ayude en el día a día, y se acuerde de todo lo que has preguntado o planeado, pues no es el tipo de información que quieras que termine en las manos de una corporación y la vendan a los anunciantes.
 
ottiatio dijo:
Ví el otro día unos modelos de IA de Alibaba llamados Qwen2, y pensé en tu PC. Supongo que si tienes 6GB pero lo tienes bastante optimizado, sin systemd ni un DE ni nada de eso, quizás funcionase. El modelo Qwen2 0.5b pesa unos 352 mb, y va a toda velocidad en mi PC (6 cores, 12 threads, 16 gb) No tiene mucha información dentro, pero esto es una demo de lo que hace. Corre en el terminal y a través de la API. El 1.5b tb va bien. Una vez que instalas ollama, pones en el terminal ollama run qwen2:0.5b

1719927452365.png
Click para expandir ...

Hostia, pues gracias.
Uso un WM bastante ligero (Dwm) pero me cuesta poco poner a andar tmux vía TTY, y son 70MB de RAM.
Voy a echarle un ojo, que eso puede que sí me lo corra.
 
ottiatio dijo:
Una ventaja es la privacidad. Por ejemplo, hace un par de semanas o así Open AI contrató a un general retirado experto en ciberseguridad para su junta directiva. Cualquier cosa que le digas a la IA puede terminar en manos de algún gobierno, con lo cual hay cosas que no vas a querer poner en una IA corporativa como ChatGPT.

Otra, es el gasto. Si por ejemplo quieres poner una IA en Obsidian para que lea tus ficheros en Markdown, y poder charlar con la IA sobre ellos, pues no tienes que usar uno de los modelos caros como los de Anthropic u OpenAI, dado que funcionan a través de la API.

Otra ventaja es el alineamiento con tus valores, no los de una corporación. Si le preguntas a Gemini cualquier cosa política, por ejemplo cuando son las elecciones generales en algún país, no te lo quiere decir. Todas las IAs grandes están censuradas. Los modelos pequeños se pueden descensurar, y por ejemplo hay versiones de Llama 3 a las que las han quitado la censura.

La otra cosa, es que hay modelos que están muy especializados en algo en particular, y son casi tan buenos como los modelos grandes en ese dominio, o modelos que no hay en otra parte. Por ejemplo, Samantha, es un modelo al cual han entrenado con textos de psicología. Tb hay modelos locales muy buenos para programación.

Si en algún momento tienes suficiente potencia en tu PC en casa para tener una IA que corra siempre, que mire todos tus ficheros, te ayude en el día a día, y se acuerde de todo lo que has preguntado o planeado, pues no es el tipo de información que quieras que termine en las manos de una corporación y la vendan a los anunciantes.
Click para expandir ...
Buenas razones pero siempre es más cómodo y más si lo llevas en el móvil...
 
ottiatio dijo:
Ví el otro día unos modelos de IA de Alibaba llamados Qwen2, y pensé en tu PC. Supongo que si tienes 6GB pero lo tienes bastante optimizado, sin systemd ni un DE ni nada de eso, quizás funcionase. El modelo Qwen2 0.5b pesa unos 352 mb, y va a toda velocidad en mi PC (6 cores, 12 threads, 16 gb) No tiene mucha información dentro, pero esto es una demo de lo que hace. Corre en el terminal y a través de la API. El 1.5b tb va bien. Una vez que instalas ollama, pones en el terminal ollama run qwen2:0.5b

1719927452365.png
Click para expandir ...

Te re-cito: Funciona perfectamente.
Al 100% de CPU en algunos casos, pero sin demasiado problema. Y la patata aún no está humeando, así que supongo que es algo bueno.
Muchas gracias de nuevo.
 
ottiatio dijo:
Una ventaja es la privacidad. Por ejemplo, hace un par de semanas o así Open AI contrató a un general retirado experto en ciberseguridad para su junta directiva. Cualquier cosa que le digas a la IA puede terminar en manos de algún gobierno, con lo cual hay cosas que no vas a querer poner en una IA corporativa como ChatGPT.

Otra, es el gasto. Si por ejemplo quieres poner una IA en Obsidian para que lea tus ficheros en Markdown, y poder charlar con la IA sobre ellos, pues no tienes que usar uno de los modelos caros como los de Anthropic u OpenAI, dado que funcionan a través de la API.

Otra ventaja es el alineamiento con tus valores, no los de una corporación. Si le preguntas a Gemini cualquier cosa política, por ejemplo cuando son las elecciones generales en algún país, no te lo quiere decir. Todas las IAs grandes están censuradas. Los modelos pequeños se pueden descensurar, y por ejemplo hay versiones de Llama 3 a las que las han quitado la censura.

La otra cosa, es que hay modelos que están muy especializados en algo en particular, y son casi tan buenos como los modelos grandes en ese dominio, o modelos que no hay en otra parte. Por ejemplo, Samantha, es un modelo al cual han entrenado con textos de psicología. Tb hay modelos locales muy buenos para programación.

Si en algún momento tienes suficiente potencia en tu PC en casa para tener una IA que corra siempre, que mire todos tus ficheros, te ayude en el día a día, y se acuerde de todo lo que has preguntado o planeado, pues no es el tipo de información que quieras que termine en las manos de una corporación y la vendan a los anunciantes.
Click para expandir ...
También necesitas un equipo casi exclusivamente para eso
 
wendygo dijo:
También necesitas un equipo casi exclusivamente para eso
Click para expandir ...
Pues el caso es que yo pensaba eso mismo, pero con el PC que tengo, que no tiene gráfica hay modelos que van bien. Por ejemplo los modelos de Mistral 7b y derivados, el Phi3, o llama 3 8b, van a velocidad razonable.
 
Yo llevo un ratito con Qwen2 0.5b y aseguro que hasta un PC pequeño puede cargar la IA.
No obstante, espero que vaya aprendiendo de verdad, porque las respuestas en castellano son realmente divertidas en ocasiones (De no tener ningún sentido).

Mucho por aprender, me parece. (Ésto lo digo por mi mismo, más que por la IA)
 
Debes iniciar sesión o registrarte para participar.
Volver
Arriba