L'intelligence artificielle progresse aujourd'hui en dépensant davantage : plus de paramètres, plus de mémoire, plus de calcul, plus d'énergie. Symbioz explore l'autre direction — obtenir autant en dépensant beaucoup moins. Ce n'est pas un réglage de fin de projet, c'est notre seul objet de recherche.
Depuis dix ans, le progrès en intelligence artificielle suit une recette unique : agrandir. Plus de paramètres, plus de données, plus de silicium. Elle fonctionne — et elle a produit des systèmes remarquables. Mais elle a aussi un coût que l'on regarde peu.
Un modèle deux fois plus économe, c'est le même service rendu pour moitié moins de ressources — à chaque requête, pour toujours. À l'échelle où l'IA est utilisée aujourd'hui, un gain d'efficience pèse plus lourd qu'un point de performance de plus.
Symbioz travaille cette direction-là, et rien d'autre. Nous ne cherchons pas à battre qui que ce soit sur un classement de capacités. Nous cherchons à faire tenir la même chose dans beaucoup moins.
Chaque octet qu'un modèle n'a pas à garder est de la mémoire qu'on ne fabrique pas et du courant qu'on ne consomme pas — à chaque requête, indéfiniment.
Entraîner et servir un très grand modèle est réservé à une poignée d'acteurs. Ce qui devient efficient redevient accessible à des équipes modestes.
Un modèle qui tient sur une machine ordinaire peut tourner chez soi, hors ligne, sans confier ses données à qui que ce soit.
Une même question à chaque fois : peut-on obtenir le même résultat en dépensant moins ? Nous décrivons ici ce que nous cherchons et pourquoi — les détails d'architecture restent au laboratoire.
Pour répondre, un modèle garde une trace de chaque token qu'il a lu. Cette mémoire grossit sans fin et c'est elle — pas le nombre de paramètres — qui fixe le coût réel et la longueur de contexte possible.
Un modèle qui « accepte » 128 000 tokens ne s'en sert pas pour autant. Annoncer une fenêtre coûte zéro ; s'en servir vraiment coûte cher. Nous mesurons la portée réelle, celle qu'on paie.
Faire réfléchir un modèle coûte aujourd'hui des milliers de tokens écrits puis jetés. Et s'il se représentait la suite avant d'écrire, sans rien produire de visible ?
Un modèle calcule avec bien plus de décimales qu'il n'en a besoin. Chacune coûte de la mémoire et de l'énergie. Nous descendons marche par marche, en mesurant ce qui se perd à chaque palier.
Dans un modèle entraîné, tout ne sert pas. Certains paramètres ne contribuent plus à rien mais coûtent autant que les autres. Nous cherchons à les compter, puis à ne plus les payer.
Tout ce que nous publions est entraîné et mesuré sur des GPU grand public, un seul à la fois. Ce n'est pas un handicap subi : c'est la contrainte qui force à trouver l'économie.
Pas dans le nombre de paramètres, celui qu'on affiche partout. Dans les octets que le modèle doit garder pour chaque token lu. En quatre étapes.
Chaque token lu laisse une trace que le modèle doit conserver pour la suite de sa réponse.
Plus le texte est long, plus cette mémoire grossit — token après token, sans jamais se vider.
Arrivée au bout de la mémoire disponible, cette trace fixe la vraie limite : elle plafonne le contexte et fait monter la facture.
Comprimer cette trace à 90 octets par token — et vérifier, texte par texte, que le modèle n'a rien perdu en route.
Chercher l'efficience rend particulièrement facile de se tromper soi-même : les gains qu'on traque sont petits, et un écart minuscule ressemble beaucoup à du bruit. Nous avons donc pris le parti inverse de l'intuition : les critères d'acceptation sont écrits, datés et figés avant le lancement de chaque expérience.
Ce que nous mesurons ensuite n'a plus droit à l'interprétation. Une idée séduisante qui tombe dans la zone grise est abandonnée — même si elle nous plaisait, même si elle avait coûté des semaines. La plupart de nos pistes finissent ainsi, et c'est le fonctionnement normal d'un laboratoire.
Une économie n'est un gain que si la qualité n'a pas bougé. C'est la moitié la moins spectaculaire de notre travail, et de loin la plus longue.
Seuils d'acceptation, critère d'arrêt et strates d'analyse sont fixés avant de lancer la moindre expérience.
Deux architectures se comparent sur les mêmes textes, avec un intervalle de confiance, et le résultat est découpé par type de passage. Un gain moyen qui cache une perte locale n'est pas un gain.
Les pistes abandonnées sont documentées aussi soigneusement que les réussites. Savoir quelle économie ne marche pas a une valeur.
Autant l'annoncer clairement plutôt que de le laisser deviner.
Les questions que nous nous posons, les raisons qui nous les font choisir, les économies que nous mesurons et les résultats que nous obtenons — y compris quand ils nous donnent tort. Les publications formelles viendront lorsque notre modèle de grande taille sera achevé ; d'ici là, ce site tient lieu de compte rendu.
Le détail des architectures, les recettes d'entraînement et les mécanismes internes restent au laboratoire. Nous communiquons sur le quoi et le pourquoi, pas sur le comment.
Pas de classement maison taillé pour nous avantager, pas de démonstration choisie après coup, pas d'économie annoncée sans dire ce qu'elle a coûté en qualité.
Symbioz est un laboratoire de recherche indépendant établi en France. Nous n'avons rien à vendre : ce site existe pour rendre compte de nos travaux, pas pour convertir un visiteur en client.
Nous travaillons sur des modèles volontairement compacts. Non pas faute de mieux, mais parce que c'est la bonne échelle pour étudier l'efficience : une idée qui n'apporte rien s'y voit immédiatement, là où un très grand modèle l'absorberait sans qu'on s'en aperçoive.
Les résultats obtenus à cette échelle sont ensuite réexaminés avant toute généralisation. Nous préférons une conclusion étroite et solide à une promesse large.
Obtenir autant en dépensant moins. Tout ce qui ne sert pas cette question sort du programme de recherche.
Aucun financement extérieur à satisfaire, donc aucune raison de forcer un résultat ou d'annoncer trop tôt.
Chaque résultat publié renvoie à une expérience datée, à son protocole et à ses données de référence, archivés.
Nous lisons tout ce qui touche à l'efficience des modèles : compression de la mémoire d'inférence, quantification, évaluation honnête. Une remarque, une objection, un résultat qui contredit les nôtres : écrivez-nous.