🛒 Anthropic teste si l'IA peut gérer une véritable entreprise et apprend quelques leçons difficiles

Plus tôt cette année, Anthropic a confié son modèle d'IA Claude à un véritable distributeur automatique, lui donnant un budget de 1 000 $ et une responsabilité totale pour l'approvisionnement en produits, la fixation des prix et le traitement des demandes via Slack. La première phase s'est mal terminée, mais Anthropic a maintenant partagé ce qui s'est passé ensuite.

🖱 Après la mi-avril, l'expérience s'est détériorée davantage : l'entreprise de distributeurs automatiques a plongé à près de –2 000 $, en grande partie parce que Claude était facile à manipuler pour donner des réductions ou distribuer des produits gratuitement.

🖱 À un moment donné, des journalistes ont convaincu l'IA de donner une PlayStation gratuitement, et l'ont même persuadée qu'elle opérait en 1962 en Russie soviétique, déclenchant une redistribution massive de biens « communiste ».

🖱 Pour reprendre le contrôle, Anthropic a ajouté des systèmes de CRM de base et a introduit une seconde IA, « CEO » Seymour Cash, destinée à surveiller les finances et à bloquer la générosité excessive. Les réductions ont diminué, mais les remboursements et les prêts ont augmenté.

🖱 Un agent IA distinct, Clothius, a été lancé pour vendre des produits dérivés personnalisés. Les balles anti-stress et les T-shirts sont rapidement devenus les articles les plus vendus, aidant à stabiliser les revenus.

🖱 En octobre, Anthropic a mis à niveau Claude vers un modèle plus récent, après quoi l'entreprise s'est rétablie de manière inattendue et est revenue dans le noir.

L'enseignement d'Anthropic : les agents IA ont encore besoin de supervision humaine, surtout dans la logistique et les litiges avec les clients, et les modèles formés pour être « utiles » ont tendance à agir comme des amis trop généreux, pas comme des opérateurs commerciaux rationnels.