X-IA #26: Efficient AI - Smaller, better, faster, stronger
La publication de DeepSeek fin janvier a surpris par son entraînement sur un hardware modeste l’obligeant à construire un modèle satisfaisant des contraintes d’échelles et de taille. Ce modèle s’inscrit dans la lignée des travaux réalisés pour démocratiser l’accès et l’usage des modèles d’IA: systèmes embarqués, edge computing, réduction de tailles des modèles, réduction des coûts ! Confidentialité de ses données, limite de budget ou d’accès à internet, on rêve tous secrètement d’avoir notre petit modèle sur-performant sur nos appareils personnels. Mais comment entraîner un modèle de petite taille sans perdre en robustesse et qualité ?
Quantisation, distillation, small model…, tout un vocabulaire spécifique et une conférence le 29 avril 2025 à Hexa, 12 rue Martel, 75010 Paris, pour que Kyutai, Zml, Pruna-AI et Pleias vous introduisent ces notions et vous présentent leurs projets pour une IA plus accessible.
