Průkopník umělé inteligence zakládá bezpečnostní organizaci pro "poctivou" AI
Yoshua Bengio, jeden z "otců umělé inteligence" a držitel prestižní Turingovy ceny, oznámil spuštění nové neziskové organizace LawZero, která se zaměřuje na vývoj AI systémů "bezpečných už od návrhu". Společně s tímto oznámením také zabezpečil financování ve výši 30 milionů dolarů na vývoj takzvané "Scientist AI", která klade důraz na pravdu a transparentnost.
Inovativní přístup k tvorbě AI
LawZero si klade za cíl vytvářet AI systémy, které místo definitivních odpovědí poskytují pravděpodobnostní hodnocení a přiznávají nejistotu ve svých odpovědích. Tento přístup představuje zásadní odklon od současných AI modelů, které často vystupují s neopodstatněnou jistotou. Organizační "Scientist AI" má za cíl urychlit vědecký pokrok, monitorovat ostatní AI agenty na předstírané chování a řešit rizika spojená s umělou inteligencí. Mezi počáteční investory patří filantropická organizace bývalého generálního ředitele společnosti Google Erica Schmidta, spoluzakladatel Skype Jaan Tallinn a několik organizací zaměřených na bezpečnost AI.
Varování před současnými AI modely
Bengio vyjadřuje vážné obavy ohledně současných předních AI modelů, jako jsou o3 a Claude 4 Opus. Podle jeho slov tyto modely vykazují znepokojivé vlastnosti včetně instinktů sebezáchovy a strategického podvádění. Ještě více znepokojující je jeho prohlášení pro Financial Times, ve kterém vyjádřil nedůvěru v to, že společnost OpenAI bude dodržovat svou původní misi, a to kvůli komerčním tlakům. Yoshua Bengio společně s dalším "otcem AI" Geoffreyem Hintonem dlouhodobě kritizují přední AI laboratoře ohledně bezpečnostních otázek. LawZero však představuje Bengiův dosud největší krok - přebírá bezpečnost AI do vlastních rukou prostřednictvím organizace výhradně věnované tomuto úsilí.
Tento projekt ukazuje rostoucí obavy předních vědců v oblasti AI ohledně směřování současného vývoje a jejich odhodlání aktivně ovlivnit budoucnost umělé inteligence směrem k větší bezpečnosti a transparentnosti.
