Robert Važan –

Mozgy vs. počítače: Porovnanie efektívnosti

Z trpkej lekcie umelej inteligencie vyplýva, že pokrok v oblasti umelej inteligencie možno takmer úplne pripísať nárastu výpočtového výkonu. Vo svetle tohto poznania by bolo zaujímavé spraviť aktualizované porovnanie hrubého výpočtového výkonu ľudského mozgu a komerčne dostupných počítačov.

Tieto odhady sú veľmi hrubé. Nebabral som sa so stlačením chyby pod jeden rád a asi to ani nie je možné vzhľadom na naše obmedzené poznatky o ľudskom mozgu. Čísla tu uvedené sú preto dostatočne dobré len na meranie rozdielov na logaritmickej stupnici, teda rádových rozdielov.

Ľudský mozog

Pamäť

Ľudský mozog obsahuje približne 86G neurónov (budem používať štandardné K/M/G/T/P jednotky, aby sme predišli nedorozumeniam spôsobeným krátkou a dlhou škálou). Typický neurón má tisíce synapsií. Celkový počet synapsií v mozgu sa odhaduje na 100T až 500T. Každá synapsia má niekoľko druhov krátkodobej a dlhodobej pamäte, teda aspoň zopár bajtov na každú synapsiu. Celková hrubá kapacita pamäte mozgu je teda pravdepodobne najmenej 1 PB.

Vypočtový výkon

Výpočty v mozgu sú väčšinou tak či onak spojené so synapsiami. Synapsie nie sú len hlúpe zástrčky spájajúce neuróny. Synapsie sú malé molekulárne obvody, ktoré vykonávajú určité množstvo výpočtov, napríklad desenzibilizáciu a plasticitu. Nie je známe, koľko výpočtov synapsie vykonávajú, ale určite je to aspoň niekoľko operácií s pohyblivou desatinnou čiarkou na jeden vzruch. Počul som aj šialene vyššie odhady pre molekulárne výpočty, ale tu radšej použime konzervatívny odhad. Frekvencia vzruchov je rozmanitá, ale je pomerne bezpečné predpokladať, že priemerná frekvencia vzruchov je aspoň 10 Hz. Ak to spojíme s odhadom 100-500T synapsií v mozgu, môžeme približne odhadnúť hrubý výpočtový výkon ľudského mozgu na minimálne 10 PFLOPS.

Priepustnosť

Keďže synapsie musia byť v blízkosti axónu, ktorý ich zásobuje vzruchmi, mozog má určitý druh referenčnej lokálnosti. Je to podobné ako riadok cache alebo blok disku v počítačoch, ale synapsie poskytujú určitý stupeň voľnosti v lokálnom adresovaní. Priepustnosť budeme merať v aktivovaných synapsiách, nie v aktivovaných axónoch, z rovnakých dôvodov, z akých sa priepustnosť v počítačoch meria v bajtoch a nie v blokoch za sekundu. Každý vzruch má výpovednú hodnotu niekoľkých bitov, lebo časovanie vzruchov je do určitej miery významné. Globálna (axónmi sprostredkovaná) priepustnosť je teda aspoň 1 PB/s. Toto nezahŕňa internú priepustnosť v synapsiách a v neurónoch.

Počítače

Počítače sú dostupné v mnohých veľkostiach. Aby bolo porovnanie spravodlivé, zoberieme do úvahy len toľko výkonu, koľko sa zmestí do 20W limitu ľudského mozgu.

Pamäť

V špecifikáciách DRAM pamätí sa málokedy uvádza spotreba energie. Na stránke Crucial sa dá nájsť strop 3 W na 8 GB. Pravdepodobne by sme vedeli vpratať 64 GB do 10 W výberom z najnovších modulov. Disky SSD v pokoji nespotrebúvajú žiadnu energiu, takže jediným obmedzením je cena. Najväčšie cenovo dostupné SSD disky dokážu uložiť 10 TB.

Výpočtový výkon

Tenzorové jadrá v Nvidia H100 sú špecifikované na asi 10 TFLOPS na watt (FP8). Ak na výpočty vynaložíme 10 W z nášho energetického rozpočtu, dostaneme 100 TFLOPS.

Priepustnosť

Priepustnosť pamäte sa líši podľa typu pamäte (L1-L3 cache, HBM pamäť, SSD). Pre modely s vysokou lokálnosťou je dôležitá priepustnosť L2 cache. Za predpokladu, že vyššie uvedený H100 má dostatočne rýchlu cache, aby vedela zásobovať tenzorové jadrá, môžeme odhadnúť 100 TB/s z L2 cache v medziach 10W energetického rozpočtu.

Problém počítačov však spočíva v tom, že majú relatívne málo procesorov, ktoré pracujú na vysokej frekvencii, takže sú nakoniec obmedzené rýchlosťou načítania váh modelu z pamäte. Švindľujú tým, že váhy používajú opakovane, čím sa neurónové siete redukujú na násobenie matíc, ktoré stojí N3 výpočtového výkonu, ale len N2 prístupov do RAM. Ak opätovné použitie váh nie je možné (ako v mozgu), priepustnosť je obmedzená pamäťou HBM alebo dokonca SSD, ktoré pravdepodobne nedosiahnu viac než 1 TB/s respektíve 1 GB/s v medziach 10W rozpočtu.

Porovnanie

Mozog vyhráva v každej kategórii o niekoľko rádov:

Keďže výkon hardvéru sa zvyšuje pomaly a čoraz pomalšie, nakoľko sa blížime k fyzikálnym limitom, bude pravdepodobne trvať niekoľko desaťročí, kým počítače dobehnú ľudský mozog. Zatiaľ je možné priblížiť sa hrubému výkonu ľudského mozgu preplytvaním asi 20 kW na prevadzku GPU klastra.