W zeszłym miesiącu obserwowałem, jak trader traci sześć cyfr, ponieważ model AI pewnie cytował nieistniejący dokument regulacyjny. Halucynacja miała idealne formatowanie, realistyczne daty, a nawet fałszywy numer dokumentu. Kiedy weryfikacja ludzka to wychwyciła, szkody były już wyrządzone.
To nie jest rzadkie. To wtorek.
Wdrażamy systemy AI szybciej, niż możemy im zaufać. Diagnostyka medyczna, umowy prawne, analiza finansowa to obszary, w których pojedynczy błąd prowadzi do katastrofy. Jakie jest obecne rozwiązanie? Wrzucić więcej ludzi w problem. Ale nadzór ludzki nie skaluję, a "ufaj, ale weryfikuj" załamuje się, gdy weryfikacja trwa dłużej niż okno decyzyjne.