Analyse critique de cas réels d'utilisation de la LLM : entre promesse et réalité

Alors que le débat sur la valeur réelle des grands modèles linguistiques (LLM) se poursuit, il est essentiel d'examiner de manière critique les cas d'utilisation réels mis en œuvre par les entreprises. Cette analyse vise à examiner les applications concrètes des LLM dans différents secteurs, en évaluant de manière critique leur valeur réelle, leurs limites et leur potentiel.

‍

Commerce électronique et vente au détail : optimisation ciblée ou suringénierie ?

Dans le secteur de la vente au détail et du commerce électronique, les LLM sont utilisés pour diverses tâches :

• Assistants internes et amélioration du flux de travail: Instacart a mis au point un assistant IA appelé Ava pour aider les équipes à rédiger, réviser et déboguer le code, améliorer les communications et créer des outils internes. Bien que prometteur, on peut se demander si ces assistants offrent une valeur ajoutée substantielle par rapport à des outils de collaboration plus traditionnels et moins complexes.
• Modération du contenu et sécurité: Whatnot utilise le LLM pour améliorer la modération multimodale du contenu, la protection contre la fraude et la détection des irrégularités dans les offres. Zillow utilise le LLM pour identifier les contenus discriminatoires dans les annonces immobilières. Ces cas représentent des applications spécifiques où le LLM peut offrir une valeur réelle, mais nécessite des systèmes de vérification précis pour éviter les faux positifs et les faux négatifs.
• Extraction et classification des informations: OLX a créé l'assistant Prosus AI pour identifier les rôles professionnels dans les annonces, tandis que Walmart a mis au point un système pour extraire les attributs des produits à partir des PDF. Ces cas démontrent l'utilité des LLM dans l'automatisation de tâches répétitives qui nécessiteraient autrement un travail manuel important.
• Génération de contenu créatif: StitchFix associe un texte généré par un algorithme à une supervision humaine pour simplifier la création de titres publicitaires et de descriptions de produits. Instacart génère des images de produits alimentaires. Ces applications soulèvent des questions quant à l'originalité du contenu généré et à l'homogénéisation potentielle du langage publicitaire.
• Amélioration de la recherche: Leboncoin, Mercado Libre et Faire utilisent le LLM pour améliorer la pertinence de la recherche, tandis qu'Amazon utilise le LLM pour comprendre les relations de sens commun et fournir des recommandations de produits plus pertinentes. Ces cas représentent un domaine où la valeur ajoutée du LLM est potentiellement importante, mais la complexité de calcul et les coûts énergétiques associés peuvent ne pas justifier l'amélioration incrémentale par rapport aux algorithmes de recherche existants.

Fintech et banque : naviguer entre valeur et risques réglementaires

‍

Dans le secteur financier, le LLM est appliqué avec prudence, compte tenu de la nature sensible des données et des exigences réglementaires strictes :

• Classification et étiquetage des données: Grab utilise LLM pour la gouvernance des données, la classification des entités, l'identification des informations sensibles et l'attribution d'étiquettes appropriées. Ce cas d'utilisation est particulièrement intéressant car il répond à un défi critique pour les institutions financières, mais nécessite des mécanismes de contrôle stricts pour éviter les erreurs de classification.
• Génération de rapports sur la criminalité financière: SumUp génère des récits structurés pour les rapports sur la fraude financière et le blanchiment d'argent. Cette application, bien que prometteuse en termes de réduction de la charge de travail manuel, soulève des inquiétudes quant à la capacité des gestionnaires de patrimoine à traiter correctement des sujets juridiquement sensibles sans supervision humaine.
• Assistance pour les questions financières: Digits suggère des questions relatives aux transactions bancaires. Ce cas d'utilisation montre comment les LLM peuvent aider les professionnels sans les remplacer, une approche potentiellement plus durable que l'automatisation complète.

Technologie : Automatisation et service

‍

Dans le secteur technologique, les LLM sont largement utilisés pour améliorer les flux de travail internes et l'expérience des utilisateurs :

• Gestion des incidents et sécurité: selon security.googleblog.com, Google utilise le LLM pour fournir des résumés d'incidents liés à la sécurité et à la vie privée à divers destinataires, notamment des cadres, des gestionnaires et des équipes de partenaires. Cette approche permet aux responsables de gagner du temps et d'améliorer la qualité des résumés d'incidents. Microsoft utilise le LLM pour diagnostiquer les incidents de production, tandis que Meta a développé un système d'analyse des causes profondes assisté par l'IA. Incident.io génère des résumés d'incidents logiciels. Ces cas démontrent la valeur des LLM dans l'accélération des processus critiques, mais soulèvent des questions quant à leur fiabilité dans des situations à fort enjeu.
• Assistance à la programmation: GitHub Copilot propose des suggestions de code et des complétions automatiques, tandis que Replit a développé LLM pour la réparation de code. NVIDIA utilise LLM pour détecter les vulnérabilités des logiciels. Ces outils augmentent la productivité des développeurs, mais peuvent également propager des modèles de code inefficaces ou peu sûrs s'ils sont utilisés sans discernement.
• Requêtes de données et recherche interne: Honeycomb aide les utilisateurs à écrire des requêtes sur les données, Pinterest transforme les requêtes des utilisateurs en requêtes SQL. Ces cas montrent comment les LLM peuvent démocratiser l'accès aux données, mais peuvent également conduire à une mauvaise interprétation ou à une inefficacité sans une compréhension approfondie des structures de données sous-jacentes.
• Classification et gestion des demandes d'assistance: GoDaddy classe les demandes d'assistance afin d'améliorer l'expérience des clients. Dropbox résume les questions relatives aux fichiers et y répond. Ces cas montrent le potentiel des LLM pour améliorer le service à la clientèle, mais soulèvent des inquiétudes quant à la qualité et à l'exactitude des réponses générées.

Livraisons et mobilité : efficacité opérationnelle et personnalisation

‍

Dans le secteur de la livraison et de la mobilité, les LLM sont utilisés pour améliorer l'efficacité opérationnelle et l'expérience des utilisateurs :

• Tests et assistance technique: Uber utilise le LLM pour tester les applications mobiles avec DragonCrawl et a créé Genie, un copilote IA pour répondre aux questions d'assistance. Ces outils peuvent réduire considérablement le temps consacré aux tests et à l'assistance, mais ils ne permettent pas toujours de détecter les problèmes complexes ou les cas limites comme le ferait un testeur humain.
• Extraction et mise en correspondance des informations sur les produits: DoorDash extrait les détails des produits à partir des données SKU et Delivery Hero met en correspondance son inventaire avec les produits de ses concurrents. Ces cas montrent comment les LLM peuvent automatiser des processus complexes de mise en correspondance de données, mais peuvent introduire des biais ou des erreurs d'interprétation en l'absence de contrôles adéquats.
• Recherche conversationnelle et pertinence: Picnic améliore la pertinence de la recherche pour les listes de produits, tandis que Swiggy a mis en œuvre la recherche neuronale pour aider les utilisateurs à découvrir des aliments et des produits d'épicerie de manière conversationnelle. Ces cas illustrent la manière dont les LLM peuvent rendre les interfaces de recherche plus intuitives, mais aussi créer des "bulles de filtre" qui limitent la découverte de nouveaux produits.
• Automatisation de l'assistance: DoorDash a créé un chatbot d'assistance basé sur le LLM qui récupère des informations dans la base de connaissances pour générer des réponses qui résolvent rapidement les problèmes. Cette approche peut améliorer les temps de réponse, mais nécessite des garde-fous solides pour gérer des situations complexes ou chargées d'émotion.

Social, médias et B2C : contenu et interactions personnalisés

‍

Dans les médias sociaux et les services B2C, les LLM sont utilisés pour créer un contenu personnalisé et améliorer les interactions :

• Analyse et modération du contenu: Yelp a mis à jour son système de modération du contenu avec LLM pour détecter les menaces, le harcèlement, l'obscénité, les attaques personnelles ou les discours haineux. LinkedIn analyse divers contenus sur la plateforme pour en extraire des informations sur les compétences. Ces cas montrent le potentiel des LLM pour améliorer la qualité du contenu, mais soulèvent des inquiétudes quant à la censure et à la restriction potentielle de la liberté d'expression.
• Génération de contenu éducatif et marketing: Duolingo utilise le LLM pour aider les concepteurs à générer des exercices pertinents, tandis que Nextdoor utilise le LLM pour créer des objets d'e-mail accrocheurs. Ces applications peuvent accroître l'efficacité, mais aussi conduire à une standardisation excessive du contenu.
• Traduction et communication multilingues: Roblox exploite un modèle multilingue personnalisé pour permettre aux utilisateurs de communiquer de manière transparente dans leur propre langue. Cette application montre le potentiel de l'apprentissage tout au long de la vie pour surmonter les barrières linguistiques, mais peut introduire des nuances culturelles dans les traductions.
• Interaction avec le contenu multimédia: Vimeo permet aux utilisateurs de dialoguer avec des vidéos grâce à un système de questions-réponses basé sur le RAG, qui peut résumer le contenu de la vidéo, renvoyer à des moments clés et suggérer des questions supplémentaires. Cette application montre comment le LLM peut transformer la manière dont nous interagissons avec le contenu multimédia, mais soulève des questions quant à la fidélité des interprétations générées.

Évaluation critique : valeur réelle ou suivi de la tendance

Comme le souligne Chitra Sundaram, directrice de la pratique de gestion des données chez Cleartelligence, Inc. La formation et l'exécution de ces modèles nécessitent une énorme puissance de calcul, ce qui se traduit par une empreinte carbone importante. L'informatique durable consiste à optimiser l'utilisation des ressources, à minimiser les déchets et à choisir la bonne solution". Cette observation est particulièrement pertinente lorsqu'on analyse les cas d'utilisation présentés.

‍

L'analyse de ces cas d'utilisation fait ressortir plusieurs considérations essentielles :

1. Valeur incrémentale et complexité

‍

De nombreuses applications des LLM offrent des améliorations progressives par rapport aux solutions existantes, mais avec des coûts de calcul, d'énergie et de mise en œuvre nettement plus élevés. Comme le dit Chitra Sundaram, "utiliser un LLM pour calculer une simple moyenne, c'est comme utiliser un bazooka pour attraper une mouche" (paste-2.txt). Il est crucial d'évaluer si la valeur ajoutée justifie cette complexité, en particulier si l'on considère :

• La nécessité de systèmes de contrôle solides
• Coûts énergétiques et impact sur l'environnement
• La complexité de la maintenance et de la mise à jour
• Exigences en matière de compétences spécialisées

2. Dépendance à l'égard de la supervision humaine

‍

La plupart des cas d'utilisation réussis maintiennent une approche humaine dans la boucle, où les LLM assistent plutôt que de remplacer complètement l'intervention humaine. Cela suggère que :

• L'automatisation complète par le biais de l'apprentissage tout au long de la vie reste problématique
• L'intérêt principal réside dans l'amélioration des capacités humaines, et non dans leur remplacement.
• L'efficacité dépend de la qualité de l'interaction homme-machine

3. Spécificité du domaine et applications génériques

‍

Les cas d'utilisation les plus convaincants sont ceux où les LLM ont été adaptés et optimisés pour des domaines spécifiques, avec une connaissance du domaine intégrée :

• Affinage sur la base de données spécifiques à l'industrie
• Intégration avec les systèmes et les sources de connaissances existants
• Garde-fous et contraintes contextuelles

4. Intégration avec les technologies existantes

Les cas les plus efficaces n'utilisent pas la gestion du cycle de vie de manière isolée, mais la complètent :

• Systèmes de récupération et d'archivage des données (RAG)
• Algorithmes spécialisés et flux de travail existants
• Mécanismes de vérification et de contrôle

Comme le souligne le cas d'utilisation de Google, l'intégration des LLM dans les flux de travail relatifs aux incidents de sécurité et de protection de la vie privée permet d'"accélérer la réponse aux incidents grâce à l'IA générative", les résumés générés étant adaptés à différents publics, ce qui garantit que les informations pertinentes parviennent aux bonnes personnes dans le format le plus utile.

‍

Conclusion : une approche pragmatique du LLM

Chitra Sundaram offre une perspective éclairante lorsqu'il déclare : "Pour parvenir à une analyse durable, il faut choisir le bon outil pour le travail, et ne pas se contenter de suivre la dernière tendance. Il s'agit d'investir dans des analystes compétents et dans une bonne gouvernance des données. Il s'agit de faire de la durabilité une priorité essentielle".

‍

L'analyse de ces cas d'utilisation réels confirme que les LLM ne sont pas une solution miracle, mais des outils puissants qui, lorsqu'ils sont appliqués stratégiquement à des problèmes spécifiques, peuvent offrir une valeur significative. Les organisations devraient :

1. Identifier les problèmes spécifiques pour lesquels le traitement du langage naturel offre un avantage substantiel par rapport aux approches traditionnelles
2. Commencez par des projets pilotes qui peuvent démontrer la valeur rapidement et de manière mesurable.
3. Intégrer l'apprentissage tout au long de la vie aux systèmes existants plutôt que de remplacer complètement les flux de travail
4. Maintenir des mécanismes de supervision humaine, en particulier pour les applications critiques
5. Évaluer systématiquement le rapport coût-bénéfice, en tenant compte non seulement de l'amélioration des performances, mais aussi des coûts énergétiques, de maintenance et de modernisation.

Les entreprises qui prospèrent à l'ère des LLM ne sont pas nécessairement celles qui les adoptent le plus largement, mais celles qui les appliquent le plus stratégiquement, en équilibrant l'innovation et le pragmatisme, et en gardant un œil critique sur la valeur réelle générée au-delà du battage médiatique.

‍