Les projets de Machine Learning reposent sur des phases de recherche intenses. Les cycles de tests très nombreux, les nouvelles erreurs trouvées sans cesse, et toujours trop peu de données, rendent le travail monumental. Ces notions n’ont pourtant rien en commun avec celles du retour sur investissement (ROI), de la rentabilité, ou encore de la prévisibilité. Ce sont pourtant des qualités indispensables pour qu’une entreprise prospère.
Vous trouverez ci-dessous une liste de paramètres que je mesure dans les projets Machine Learning :
1 - Time to market
Combien de temps faut-il entre le moment où l'utilisateur demande une fonctionnalité spécifique, et l’instant où elle peut être utilisée en production ?
En tant qu’investisseur ou propriétaire de produit, vous devez connaître les attentes de vos clients en matière de publication. Vos clients s'attendent peut-être à ce que le problème soit réglé dès le lendemain. Mais configurer la façon d’apprendre de votre programme. C’est plus complexe qu’un simple algorithme ou design. Plus vous avez connaissance du process, plus vous êtes en mesure de répondre aux besoins du marché.
2 - Temps d’apprentissage
Combien de temps faut-il pour votre modèle Machine Learning apprenne ?
3 - Données
Quelles sont les données à améliorer ? Quelles qualités de la solution doivent être améliorées ?
4 - Données minimales
Le défi de Machine Learning réside dans le fait que vous avez besoin de beaucoup de data. Mais quelle est la quantité minimale de données pour disposer d'une solution pouvant être diffusée sur le marché ?
5 - Améliorations de l’algorithme lors des mises à jour de maintenance.
Tenir le journal des mises à niveau et des étapes par lesquelles vous êtes passé est très utile. Vous pouvez ainsi prédire vos processus, les planifier, et les standardiser au cours du développement. Ainsi, il est également possible de mieux piloter le projet, et prendre des décision au cours de la feuille de route, et affiner le process.
6 - Nombre de cycles d’apprentissage
Avant qu'une solution soit prête à être mis en production. Il faut environ trois versions significatives, pour constater des tendances sur le nombre de cycles d’apprentissage nécessaires à votre modèle pour obtenir une version mature d’une nouvelle fonctionnalité.
7 - Performance
Combien de temps faut-il pour effectuer une opération spécifique ? La technologie peut-elle évoluer ? Quels sont les points de mise à l'échelle pour rendre la solution scalable ? Combien d'utilisateurs pouvons-nous prendre en charge à un instant T donné et à quel coût ? D’une part, le prix du produit, les ventes et la stratégie commerciale dans son ensemble dépendent des réponses à ces questions. Les collaborateurs sauront qu’elles devront changer d’approche commerciale selon les différentes phases. D'autre part, l'équipe de développement verra quelles solutions techniques elle doit rechercher pour atteindre les objectifs de l'entreprise.
8 - Coût matériel vs. mise à niveau technologique
Tout le monde veut utiliser les dernières technologies, mais la mise à jour a-t-elle un sens ? Est-ce vraiment ce qui fournit l'essentiel de la valeur commerciale? Le coût du matériel montera en flèche avec le succès de votre solution de Machine Learning. C’est un fait. Quand une nouvelle technologie est disponible, évaluez combien vous devez investir en matériel pour chaque palier de nombre d’utilisateurs et quelle est la réduction matérielle fournie par le développement logiciel. Dans la plupart des situations, il sera moins onéreux de payer un projet de développement supplémentaire, que d’investir dans un nouveau CPU.
Quand devriez-vous commencer à mesurer ces indicateurs ?
Je le fais dès le premier jour du projet, et lorsque l'équipe a acquis suffisamment de maturité pour le faire en autonomie.
