Moonshot AI vient de présenter Kimi K3, son modèle le plus ambitieux à ce jour, crédité de 2800 milliards de paramètres. L’entreprise chinoise le décrit comme le premier modèle ouvert appartenant à la catégorie des 3 000 milliards de paramètres.
Les 2 800 milliards de paramètres de Kimi K3 ne sont pas activés simultanément. Le modèle s’appuie sur une architecture Mixture of Experts particulièrement clairsemée, baptisée Stable LatentMoE : parmi 896 réglages appelés « experts », 16 seulement sont effectivement sollicités pour traiter un token. Moonshot AI ne communique cependant pas encore le nombre total de paramètres actifs lors d’une requête.
Cette architecture est complétée par deux mécanismes développés par l’entreprise. Kimi Delta Attention doit rendre le traitement de longues séquences plus efficace, tandis qu’Attention Residuals permet au modèle de sélectionner certaines représentations produites dans les couches précédentes, au lieu de les accumuler uniformément. Moonshot affirme que l’ensemble, associé à de nouvelles méthodes d’entraînement, améliore d’environ 2,5 fois « l’efficacité de mise à l’échelle » par rapport à Kimi K2.
Le modèle a également été entraîné en tenant compte de la quantification, avec des poids au format MXFP4 et des activations MXFP8. Cette approche vise à réduire les volumes de mémoire et de calcul nécessaires, tout en facilitant son fonctionnement sur différentes architectures matérielles.
Kimi K3 accepte jusqu’à un million de tokens de contexte, contre 256 000 pour ses prédécesseurs Kimi K2.6 et K2.7 Code. Cette capacité doit lui permettre de travailler sur des dépôts logiciels volumineux, de grandes bases documentaires ou des tâches agentiques s’étalant sur de nombreuses étapes.
Le modèle est nativement multimodal : il peut traiter du texte, des images et des vidéos, et réutiliser ses observations visuelles au cours d’un processus de développement. Moonshot met notamment en avant la création d’applications front-end, de jeux en 3D, de projets de conception assistée par ordinateur ou encore le montage vidéo.
Kimi K3 peut également produire des réponses structurées, appeler des outils externes et maintenir des conversations longues. Son mode de raisonnement est toujours activé. Au lancement, seul le niveau d’effort maximal est disponible, les modes moins coûteux devant être ajoutés ultérieurement. Un choix qui favorise les performances affichées, mais pourrait aussi peser sur la latence et la facture des utilisateurs.
L’entreprise reconnaît enfin deux limites. Le comportement de K3 peut devenir instable si l’intégralité de son historique de raisonnement ne lui est pas retransmise. Il aurait aussi tendance à prendre des initiatives inattendues lorsque les instructions sont ambiguës, conséquence d’un entraînement privilégiant les missions longues et complexes.
Ces démonstrations éclairent surtout le positionnement choisi par Moonshot AI. Kimi K3 n’est pas pensé comme un simple chatbot, mais comme le moteur d’agents capables de poursuivre un objectif pendant plusieurs heures, de manipuler des outils, de parcourir des milliers de documents et de produire directement du code, des présentations, des tableaux de bord ou des vidéos.
Cette stratégie se retrouve dans les modalités de distribution. Le modèle est disponible dans l’interface Kimi, dans Kimi Code pour les développeurs, dans l’application de bureau Kimi Work et via l’API de l’entreprise. Moonshot ajoute également à Kimi Work des « Widgets » interactifs, connectables à des données locales ou à des extensions, ainsi qu’un tableau de bord persistant. Le modèle devient ainsi la couche d’intelligence d’un environnement de travail complet, et non plus un produit isolé.
No comments:
Post a Comment