Olala mini 7A1B : OVH lance son premier LLM, entraîné en Europe et ouvert à tous

OVH dévoile Olala, sa première famille de modèles de langage. Premier de la lignée, Olala mini 7A1B est un modèle compact conçu from scratch par OVHai LLM, le lab agentique d’OVH. Il sera présenté en détail le 19 novembre à l’OVHcloud AI Summit, au Carrousel du Louvre à Paris.

Un modèle compact qui tourne partout

Olala mini compte 7 milliards de paramètres, dont un milliard seulement activé, répartis entre 256 experts par couche, avec une attention hybride inédite combinant Differential-TPA et Mamba-3. Il fonctionne sur un GPU doté d’au moins 8 Go de mémoire, atteint 160 tokens par seconde sur une RTX A4500, et 50 sur un simple processeur, sans GPU.

Paramètres
7 milliards, dont 1 milliard actifs
Contexte
32 000 tokens
Format
BF16
Licence
Apache 2.0, sur Hugging Face

Entraîné en Europe, déjà en production

Olala mini a été entraîné sur les supercalculateurs publics européens Jupiter, MeluXina et Jean Zay, l’équivalent de 7 M€ en heures de calcul. Ce soutien a permis de constituer l’équipe d’OVHai LLM. Le modèle est publié avec ses poids, son modèle de base pré-entraîné, son rapport technique et sa documentation de conformité à l’AI Act. Qwant l’a déjà adopté pour sa réponse flash : des réponses 20 % plus rapides et des coûts divisés par trois.

La suite : v1.1, puis v2.0

La version 1.1, attendue d’ici la fin de l’année, portera la fenêtre de contexte à 128 000 tokens et renforcera le raisonnement mathématique. La version 2.0 dépassera les 100 milliards de paramètres et se déclinera en modèles spécialisés dans trois domaines : l’agentique pour les entreprises, le DevOps cloud et la cybersécurité.

« On ne peut pas juste compter sur la générosité de certains Labs à partager leurs modèles LLM en open source dans les années à venir. »

Octave Klaba, CEO d’OVH

Lire le communiqué de presse