Sujet : Mixtral 8x22B face à Llama 3 : l'atout majeur du modèle français
JudgeDv65
Le nouveau modèle multi-agents de Mistral AI combine performance et efficacité maximale. Il offre une alternative open source crédible pour de nombreux cas d'usage.
Mistral frappe encore très fort. La start-up parisienne, qui s'apprêterait à finaliser une levée de fonds de 5 milliards de dollars, a dévoilé un nouveau LLM à l'état de l'art open source pendant… 9 jours. Dévoilé le 10 avril sous la forme d'un fichier torrent brut, Mixtral 8x22B a été officialisé par Mistral AI le 17 avril avec de nouvelles informations sur son entraînement. Moins de 24 heures plus tard, Meta a répliqué en dévoilant Llama 3. Un modèle surpassant celui de la start-up parisienne dans les benchmarks. Mixtral 8x22B n'en est pas pour autant à ranger au fond du tiroir, bien au contraire.
Le petit dernier de Mistral dispose d'un atout majeur sur Llama 3 : son architecture. Basé sur un modèle de Sparse Mixture-of-Experts, Mixtral est, à paramètres égaux, plus efficace. Popularisé par Mistral AI avec Mixtral 8x7B, l'architecture s'est rapidement développée dans l'écosystème open source. Cette dernière présente un fonctionnement véritablement différent de l'architecture transformer classique, encore utilisée par la majorité des LLMs du marché. Avec une architecture Sparse Mixture-of-Experts, le modèle est constitué de plusieurs agents chacun spécialisé dans certains types de tâches ou de connaissances. Lorsqu'une entrée est présentée au modèle, un mécanisme de "routage" sélectionne dynamiquement quels experts seront activés pour traiter cette entrée de manière optimale.
https://www.journaldunet.com/intelligence-artificielle/1530113-mixtral-8x22b-face-a-llama-3-l-atout-majeur-du-modele-francais/
JudgeDv65
et ça a l'avantage de pouvoir être installer en local.
turcophoneDeter
Openai en sang, ça me rappelle quand même le topax de la découverte de l'IA de openai et des demandes folle des clés
Serviette_Bleu2
À votre avis, dans combien de temps Mistral AI sera racheté par les américains ?
turcophoneDeter
Le 02 mai 2024 à 15:24:53 :
À votre avis, dans combien de temps Mistral AI sera racheté par les américains ?
Je donne une pièce sur une société Américano-Israélienne
RealZakarik
Le 29 avril 2024 à 19:28:54 :
et ça a l'avantage de pouvoir être installer en local.
Ca, pour le coup, Llama 3, comme Mistral AI le peuvent. Tous les deux sont open source également.
gtensea
Le 29 avril 2024 à 19:28:54 :
et ça a l'avantage de pouvoir être installer en local.
Du coup il faut 192 Go de RAM (ou idéalement 192 Go de mémoire GPU) pour qu'il puisse tourner de manière optimale si je comprends bien ? 
C'est pas pres de tourner sur un PC lambda si c'est ca
Contre-Crypto
Le 02 mai 2024 à 15:24:53 :
À votre avis, dans combien de temps Mistral AI sera racheté par les américains ?
Ce sera ou ça, ou sa disparition. À choisir je préfère le rachat par notre plus vieil allié.
Contre-Crypto
Le 03 mai 2024 à 11:40:46 :
Le 29 avril 2024 à 19:28:54 :
et ça a l'avantage de pouvoir être installer en local.Du coup il faut 192 Go de RAM (ou idéalement 192 Go de mémoire GPU) pour qu'il puisse tourner de manière optimale si je comprends bien ?
C'est pas pres de tourner sur un PC lambda si c'est ca
En full précision on est autour de 300go. En dégradé 192go est possible oui, ça permet de rester sur du matériel grand public. Après le modèle vise clairement les entreprises qui sont ravies de faire tourner ça chez elles.