Ce que l’IA et les centrales électriques ont en commun

Nous sommes ravis de ramener Transform 2022 en personne le 19 juillet et virtuellement du 20 au 28 juillet. Rejoignez les leaders de l’IA et des données pour des discussions approfondies et des opportunités de réseautage passionnantes. Inscrivez-vous aujourd’hui!


L’histoire de intelligence artificielle (IA) au cours des cinq dernières années a été dominé par l’échelle. D’énormes progrès ont été réalisés dans traitement du langage naturel (NLP), la compréhension des images, la reconnaissance vocale et plus encore en prenant des stratégies qui ont été développées au milieu des années 2010 et en mettant plus de puissance de calcul et plus de données derrière elles. Cela a entraîné une dynamique de pouvoir intéressante dans l’utilisation et la distribution des systèmes d’IA ; celui qui fait que l’IA ressemble beaucoup au réseau électrique.

Pour la PNL, plus c’est gros, mieux c’est

L’état de l’art actuel de la PNL est alimenté par des réseaux de neurones avec des milliards de paramètres formés sur des téraoctets de texte. Le simple fait de conserver ces réseaux en mémoire nécessite plusieurs GPU de pointe, et la formation de ces réseaux nécessite des grappes de superordinateurs bien au-delà de la portée de toutes les organisations, sauf les plus grandes.

On pourrait, en utilisant les mêmes techniques, former un nombre nettement plus petit réseau neuronal sur beaucoup moins de texte, mais les performances seraient bien pires. Tellement pire, en fait, que cela devient une différence de nature au lieu d’une simple différence de degré ; il existe des tâches telles que la classification de texte, la synthèse et l’extraction d’entités dans lesquelles les grands modèles de langage excellent et les petits modèles de langage ne fonctionnent pas mieux que le hasard.

En tant que personne qui travaille avec les réseaux de neurones depuis environ une décennie, je suis vraiment surpris par ce développement. Il n’est pas évident d’un point de vue technique que l’augmentation du nombre de paramètres dans un réseau de neurones conduirait à une amélioration aussi drastique des capacités. Cependant, nous sommes ici en 2022, entraînant des réseaux de neurones presque identiques aux architectures publiées pour la première fois en 2017, mais avec des ordres de grandeur plus de calcul et obtenant de meilleurs résultats.

Cela indique une dynamique nouvelle et intéressante dans le domaine. Les modèles à la pointe de la technologie sont trop coûteux en calculs pour que presque toutes les entreprises – et encore moins un individu – puissent les créer ou même les déployer. Pour qu’une entreprise puisse utiliser de tels modèles, elle doit en utiliser un créé et hébergé par quelqu’un d’autre – de la même manière que l’électricité est créée et distribuée aujourd’hui.

Partager l’IA comme s’il s’agissait d’un utilitaire mesuré

Chaque immeuble de bureaux a besoin d’électricité, mais aucun immeuble de bureaux ne peut abriter l’infrastructure nécessaire pour produire sa propre électricité. Au lieu de cela, ils sont raccordés à un réseau électrique centralisé et paient pour l’électricité qu’ils utilisent.

De la même manière, une multitude d’entreprises peuvent bénéficier de l’intégration du NLP dans leurs opérations, même si peu ont les ressources nécessaires pour construire leurs propres modèles d’IA. C’est exactement pourquoi les entreprises ont créé de grands modèles d’IA et les ont rendus disponibles via une API facile à utiliser. En offrant aux entreprises un moyen de «se connecter» au réseau électrique proverbial NLP, le coût de la formation de ces modèles de pointe à grande échelle est amorti sur divers clients, leur permettant ainsi d’accéder à cette technologie de pointe. , sans l’infrastructure de pointe.

Pour donner un exemple concret, supposons qu’une entreprise qui stocke des documents juridiques souhaite afficher un résumé de chaque document en sa possession. Ils pourraient embaucher quelques étudiants en droit pour lire et résumer chaque document seuls, ou ils pourraient tirer parti d’un réseau de neurones. Des réseaux de neurones à grande échelle travaillant en tandem avec le flux de travail d’un étudiant en droit augmenteraient considérablement l’efficacité de la synthèse. En former un à partir de zéro, cependant, coûterait des ordres de grandeur plus que d’embaucher simplement plus d’étudiants en droit, mais si ladite entreprise avait accès à un réseau neuronal de pointe via une API basée sur le réseau, elle pourrait simplement connectez-vous au «réseau électrique» de l’IA et payez pour l’utilisation de la synthèse.

Cette analogie a des implications intéressantes si nous la suivons jusqu’à son extrême logique. L’électricité est un service public, au même titre que l’eau et les infrastructures de transport. Ces services sont si cruciaux pour le fonctionnement de notre société qu’en Ontario (d’où je vous écris), ils sont maintenus avec succès par des sociétés d’État (détenues et réglementées par les gouvernements fédéral ou provinciaux). Ces sociétés d’État sont responsables non seulement de l’infrastructure et de la distribution, mais aussi de l’évaluation et de l’assurance de la qualité, comme les analyses de la qualité de l’eau.

La réglementation de l’utilisation de l’IA est également essentielle

De plus, tout comme l’électricité, cette technologie peut être mal utilisée. Il a également été démontré qu’il présente plusieurs limites et des utilisations abusives potentielles. Il y a eu beaucoup d’érudition sur la façon dont ces modèles peuvent potentiellement causer des dommages via l’astroturfing et la propagation des biais. Étant donné la façon dont cette technologie est sur le point de transformer fondamentalement notre façon de fonctionner, son organe directeur et sa réglementation sont importants à prendre en compte. Plusieurs fournisseurs de ces API NLP ont récemment publié un ensemble de bonnes pratiques pour déployer ces modèles, mais ce n’est évidemment qu’une première étape, en s’appuyant sur ce travail précédent.

André Ng dit célèbre que “l’IA est la nouvelle électricité”. Je crois qu’il voulait dire qu’il alimentera une vague de progrès et d’innovation, devenant crucial pour le fonctionnement de notre économie avec le même impact d’échelle que l’introduction de l’électricité. La déclaration est peut-être un peu hyperbolique, mais elle est peut-être plus appropriée que je ne le pensais au départ. Si l’IA est la nouvelle électricité, elle devra être activée par un nouvel ensemble de centrales électriques.

Nick Frosst est cofondateur de Adhérer.

DataDecisionMakers

Bienvenue dans la communauté VentureBeat !

DataDecisionMakers est l’endroit où les experts, y compris les techniciens travaillant sur les données, peuvent partager des informations et des innovations liées aux données.

Si vous souhaitez en savoir plus sur les idées de pointe et les informations à jour, les meilleures pratiques et l’avenir des données et de la technologie des données, rejoignez-nous sur DataDecisionMakers.

Vous pourriez même envisager contribution d’un article ton propre!

En savoir plus sur DataDecisionMakers



#lIA #les #centrales #électriques #ont #commun

Leave a Comment

Your email address will not be published.