MoE : plus rapides & plus puissants, les nouveaux rois des LLMs !
Dans cet article, nous introduisons une nouvelle forme d'architecture de LLM : les Mixture Of Experts. Les MoEs rendent les LLMs plus performants et moins chers, nous expliquerons aussi pourquoi, ils ne sont pas le meilleur choix pour tous les cas d’usages.