Majitelé starších grafických karet GeForce mají důvod k radosti. Komunita nadšenců přišla na způsob, jak obejít omezení, kterým Nvidia záměrně brzdí výpočty umělé inteligence na kartách řady RTX 20, 30 a 40. Výsledkem je v některých testech téměř dvojnásobný výkon. Nejnovější nástroj navíc funguje i v operačním systému Windows a spouští se z obyčejného USB disku. Jde ale čistě o výkon pro AI, na hry to nemá vliv.
Grafiky běží jen na polovinu
Grafiky GeForce obsahují takzvaná tenzorová jádra, tedy specializované obvody pro maticové výpočty, na kterých stojí trénování i spouštění modelů umělé inteligence. Nvidia ale u herních karet omezuje jejich rychlost na polovinu při výpočtech ve formátech FP16, BF16 a TF32 s přesností FP32 při sčítání mezivýsledků. Právě tyto výpočty přitom využívá téměř veškeré trénování AI a práce s nekomprimovanými modely.
Tentýž křemík prodávaný jako profesionální karta řady RTX A přitom běží naplno. Vývojář projektu gpu-unlock vysvětluje, že jde o záměrné rozdělení trhu. Firmy mají nakupovat dražší profesionální karty, které toto omezení nemají.
Celý proces začal u karet Nvidia CMP určených pro těžbu kryptoměn, kde se komunita už dříve naučila odemykat zablokované výpočetní schopnosti. Vývojář vystupující pod přezdívkou Zagitta tyto postupy přenesl na řadu RTX 30 v otevřeném projektu gpu-unlock. Další nadšenci pak připravili verze pro řady RTX 40 a RTX 20.
Program se spustí při startu počítače ještě před načtením ovladače Nvidia a zapíše do karty nastavení pro plnou rychlost. Nemění ovladač ani firmware karty, takže po aktualizaci ovladačů není potřeba nic opakovat.
O kolik se zvýší výkon
Výkon karty RTX 3060 s 12 GB paměti stoupl z 27 na 51 TFLOPS, u RTX 3080 z 65 na 113 TFLOPS a u RTX 4080 ze 104 na 193 TFLOPS. Karta RTX 4090 teoreticky zdvojnásobí špičkový výkon ze 165 na 329 TFLOPS, jenže v praxi jí dříve dojde energie, než stihne tenzorová jádra plně vytížit.
Při běžné práci jsou přínosy skromnější, ale stále výrazné. Zpracování zadání u velkých jazykových modelů se zrychlí o čtvrtinu až o více než polovinu a čekání na první slovo odpovědi se zkrátí zhruba o čtvrtinu. Dolaďování modelů zrychlí o 25 až 50 procent, generování obrázků v nástrojích jako ComfyUI o 30 až 55 procent a tvorba videa o 15 až 20 procent.
Některé věci se ale nezmění vůbec. Samotné generování textu u jazykových modelů naráží na rychlost paměti, kterou odemčení nezvýší. Kdo používá komprimované modely v Ollamě nebo llama.cpp, uvidí zlepšení nanejvýš o 15 procent a většinou jen u dlouhých textů. Modely ve formátech INT8, FP8 nebo INT4 nezrychlí a hry také ne. Výsledky výpočtů zůstávají po odemčení naprosto stejné, mění se pouze rychlost.
Které karty se dají odemknout
Linuxová verze gpu-unlock spolehlivě funguje na řadě RTX 30, kde její funkčnost potvrdilo přes sto uživatelů. Patří sem modely od RTX 3050 po RTX 3090 Ti a také notebookové verze RTX 3070 a 3080. Podpora řad RTX 40 a RTX 20 je zatím experimentální. Nejnovější řadu RTX 50 nástroj nepodporuje a podle autora se to nejspíš ani nezmění.
U notebooků se však objevuje komplikace. Odemčení vydrží jen tehdy, když se grafická karta nikdy úplně nevypne. Mnoho notebooků ji ale při nečinnosti uspává, čímž se nastavení vrátí do původního stavu.
Jak to rozběhnout v Linuxu
Instalace v Linuxu vyžaduje trochu práce v terminálu. Uživatel si stáhne projekt z GitHubu, spustí instalaci příkazem make install a do parametrů jádra, se kterými systém startuje, přidá řádek gpu_unlock.targets=all. U většiny distribucí to znamená upravit nastavení zavaděče GRUB a nechat ho znovu vygenerovat. Program pak při každém startu odemkne všechny podporované karty, což trvá zhruba sekundu.
Po uspání počítače do paměti se karta znovu sama odemkne, uložení na disk při hibernaci ale nástroj nepodporuje. Zda vše proběhlo v pořádku, prozradí systémový protokol. Pro vypnutí odemykání stačí z parametrů jádra smazat přidaný řádek.
Windows přes flashku
Zagitta Windows nepoužívá a jejich podporu udržovat nechce. Na webu se proto objevily různé neoficiální instalátory, před kterými autor důrazně varuje. Upozorňuje také, že projekt nemá žádné vlastní stránky ani instalační program.
Pro uživatele Windows je teď nejschůdnější cestou nástroj NV UEFI Unlocker od vývojáře physicsdolphin. Ten se spouští ještě před operačním systémem z prostředí UEFI, tedy ze základního firmwaru počítače. Funguje tak ve Windows, Linuxu i dalších systémech, které umí startovat v režimu UEFI. Postup obchází podepsaný firmware karty tak, aby povolil zápis do dvou registrů určujících rychlost tenzorových jader, a zapsané hodnoty pak kontroluje zpětným čtením.
Balíček neobsahuje žádný firmware od společnosti Nvidia. Jeden ze skriptů si sám stáhne veřejný ovladač verze 610.43.03, ověří ho a potřebné soubory sestaví přímo v počítači uživatele. Tyto soubory spolu se zaváděcím souborem BOOTX64.EFI pak uživatel nahraje na flashku naformátovanou na FAT32. Při startu počítače z ní nabootuje přes jednorázovou nabídku zařízení a během 30 sekund potvrdí spuštění mezerníkem. Nástroj kartu odemkne a předá řízení operačnímu systému.
Počítač musí běžet v režimu UEFI a funkce Secure Boot musí být buď vypnutá, nebo nastavená tak, aby důvěřovala vlastnoručně podepsanému souboru. To může narazit u her, jejichž ochrana proti podvádění Secure Boot vyžaduje. Podle člena vývojového týmu tento požadavek nástroj obejít nedokáže. Majitelé řady RTX 20 musí nejdřív jednou spustit přiložený skript, který přepne ovladač ve Windows do režimu firmwaru GSP, a restartovat počítač. U notebooků musí být samostatná grafika při spuštění zapnutá, proto autor doporučuje přepnout notebook do režimu, kdy běží pouze na ní.
Odemčení vydrží jen do úplného vypnutí počítače. Žádné trvalé změny tak karta neutrpí, ale celý postup je nutné opakovat při každém startu. Tým už chystá možnost spouštět nástroj přímo z pevného disku.
Co ve Windows funguje a co ne
Ve Windows vývojáři i uživatelé potvrdili funkčnost na kartách RTX 2070 a 2060 Super. Z řady RTX 30 úspěšně běží modely 3080 včetně verze LHR, 3060 Ti, 3060 s 12 GB paměti a také notebookové verze 3080 Ti a 3070. Z řady RTX 40 fungují karty RTX 4090, 4080, 4070 Ti Super, 4070 Super, 4070, obě verze 4060 Ti a notebookové varianty 4060 a 4050.
Problémy mají modely RTX 2080, 2080 Ti a 2080 Super, které selhávají při startu počítače nebo při předání řízení systému. Karty RTX 3050 a notebookovou verzi RTX 4070 zatím nikdo nevyzkoušel. U externích grafik připojených přes rozhraní Thunderbolt není jisté, zda odemčení vůbec vydrží. Řada GTX 16 by teoreticky fungovat měla, ale ověření zatím chybí. Starší karty a řada RTX 50 podporu nemají, přičemž nejnovější generace má podle vývojářů mnohem silnější zabezpečení, než se původně čekalo.
Čísla z Windows odpovídají výsledkům z Linuxu. Autorova karta RTX 2070 zaznamenala nárůst z 36 na zhruba 60 až 63 TFLOPS, notebooková RTX 4060 stoupla ze 30 na 49 TFLOPS a RTX 4080 jednoho z majitelů téměř zdvojnásobila výkon na 192 TFLOPS. Karta RTX 4090 si polepšila zhruba o polovinu, protože vyšší hodnoty jí nedovolil limit spotřeby.
Je to bezpečné?
Podle autora projektu gpu-unlock je poškození karty velmi nepravděpodobné. Grafika se může při vyšší zátěži trochu více zahřát, ale běžné ochrany proti přehřátí i řízení spotřeby fungují dále a kartu v případě potřeby zpomalí. Vývojáři nástroje NV UEFI Unlocker sice uvádějí, že jejich program lze spojit s utilitou na zvýšení limitu spotřeby, zároveň ale varují, že karta pak může překročit tovární hranice pro spotřebu i teplotu. Kontrola firmwaru jednotlivých karet, kterou si projekt sám předepisuje, ještě není hotová a celý nástroj zůstává ve fázi zkoušek.
Zdroje: videocardz.com, wccftech.com a tomshardware.com
