Image
16.2.2019 2 Comments

Rozhovor: Prodigy / Univerzálny procesor Made in Slovakia

Spoločnosť Tachyum s dcérskymi spoločnosťami v americkom San José a v Bratislave, ktorú založil úspešný hardvérový architekt a vynálezca Radoslav Danilák, nedávno dosiahla zásadný míľnik
vo vývoji prevratného čipu pre dátové centrá – tzv. Engineering Proof.

Znamená to, že čip Prodigy, umožňujúci sústrediť nevyužitú kapacitu dátových centier na úlohy umelej inteligencie, sa dá v praxi vyrobiť. Tento čip s nízkou energetickou spotrebou by mal plynulo meniť charakter vyťaženia medzi dátovým centrom, AI a HPC. Bude sa vyrábať najmodernejšou 7 nm technológiou. Vývoj čipu sa tak posúva do ďalšej fázy – softvérového vývoja a prípravy výroby, kde by významnú úlohu mohlo hrať Slovensko. Čip je dielom Dr. Radoslava Daniláka, ktorý ním odpovedá na dve globálne výzvy: stagnáciu rastu výkonu procesorov, ktorú architektúra čipu Prodigy rieši vďaka využitiu základných fyzických limitov zariadenia, a vysokú energetickú spotrebu dátových centier. V tejto súvislosti sme Radovi Danilákovi položili niekoľko otázok.

 

PCR: Mnohé globálne dátové centrá sú niekoľko hodín denne nevyťažené. Prevádzkovatelia týchto centier, ktoré označili prívlastkom softvérovo definované, však tvrdia, že vďaka ­virtualizácii a v neposlednom rade aj prirodzenému rozdeleniu záťaže vďaka časovým pásmam dokážu už teraz z týchto ­centier vyťažiť maximum. Skutočne je tam rezerva dostatočná na úlohy AI?

RD: V prvom rade treba rozdeliť tieto dátové centrá do dvoch skupín. Také, ktoré poskytujú služby používateľom vo firmách, a také, ktoré poskytujú služby bežným používateľom. Firemní zákazníci majú z hľadiska vyťažovania kapacít dátových centier iné správanie ako používatelia Facebooku, Twitteru a iných podobných služieb. Napríklad Facebook má svoje dáta v rôznych dátových centrách, v rôznych krajinách, kde platí jurisdikcia príslušnej krajiny, prípadne zoskupenia ako EÚ. Podľa grafu zverejneného Facebookom je priemerné využitie jeho dátových centier na území USA pod 50 % v 24-hodinovom cykle. Vznikne teda logická otázka, prečo sa nevyrovnáva záťaž medzi USA a povedzme EÚ, kde sa dátové centrá využívajú v iných časoch. Jednoznačnou odpoveďou sú ceny za medzikontinentálny prenos údajov pomocou satelitov a podmorských káblov. Bolo by to teda veľmi drahé. Ešte vypuklejšie je to pri službách typu Netflix s vysokým objemom prenášaných údajov, ale aj na Facebooku značné percento objemu tvorí prenos videa.

Druhý okruh problémov je legislatíva, presnejšie ochrana osobných údajov v rámci EÚ, v Číne, Ruskej federácii a podobne. To je ďalší dôvod, prečo nemožno ľubovoľne presúvať údaje medzi krajinami a obsluhovať zákazníkov z dátových centier v iných krajinách. Fundamentálne sú však technické problémy. Jednoducho nie je k dispozícii prenosová kapacita desiatok terabitov medzi EÚ a USA za akceptovateľnú cenu. Takže používatelia – tak podnikoví, ako aj bežní – sú vo väčšine prípadov obsluhovaní dátovými centrami na svojom kontinente. Podnikoví používatelia cloudových služieb, samozrejme, využívajú virtualizáciu, ale aj tu v mnohých prípadoch záťaž závisí od času v rámci dňa. Ľudia nerobia bankové transakcie v čase, keď spia. Pred érou virtualizácie bola miera využitia serverov vo firmách typicky pod 10 %. Virtualizačné nástroje zvyšujú mieru využitia, pretože napríklad v bankách v čase, keď klesne zaťaženie od transakčného spracovania, sa môžu aktivovať analytické úlohy a podobne. Ak sa však zameriame na 24-hodinový, prípadne 7-dňový cyklus, sú aj tu vo využiteľnosti kapacít značné rezervy. Pripomínam však, že dátové centrá pre firemných zákazníkov nie sú naším cieľom.

 

PCR: Ako je to teda s vyťaženosťou dátových centier poskytujúcich služby pre bežných používateľov?

RD: Aj v tomto segmente sú značné rozdiely. Napríklad služby vyhľadávača Google sa dajú pomerne ľahko rozdeliť aj na dátové centrá na rôznych kontinentoch, pretože dátový tok typicky pozostáva z krátkej vyhľadávacej frázy a zoznamu nájdených stránok. Iný prípad je Twitter – je to hlavne americký hit, takže jadro záťaže pochádza od používateľov v rámci USA. Ich dátové centrá v USA sú podobne ako dátové centrá Facebooku v rámci 24-hodinového cyklu využívané menej ako na 50 %.

 

PCR: Aká je pozícia čipu Prodigy v architektúre dátového centra? Kam sa budú dosky s týmto čipom inštalovať a aká bude ich úloha?

RD: Facebook na Open Compute zverejnil informácie o tom, aký hard­vér používa na jednotlivých úrovniach architektúry svojej IT infraštruktúry. Využívajú sa servery na front-end, teda na generovanie kontextu webových stránok a generovanie údajov pre mobilné facebookové aplikácie. Tieto servery tvoria 70 % IT výbavy Facebooku. Samozrejme, Facebook má aj hardvér, na ktorom bežia databázové, analytické, súborové a ďalšie servery. Využíva viac konštrukčných formátov serverov. Na web front-end sa využívajú servery s procesormi radu Xeon D. Tieto servery sú v podstate bezstavové v tom zmysle, že nepotrebujú úložnú kapacitu, pretože len generujú kód webových stránok. Na ostatné úlohy sa využívajú servery s procesormi dual socket Xeon e5. Niektoré majú polovodičové disky s kapacitou 256 GB, iné majú klasické veľkokapacitné disky, takže Xeon D má na hardvérovej výbave podiel 70 %. Pri reakciách na vaše aktivity na Facebooku sa v čoraz väčšej miere využívajú úlohy umelej inteligencie, no tie všetky bežia na klasických procesoroch čiže CPU. Nevyužíva sa ani GPU a na rozdiel od Googlu ani TPU (Tensor Processing Unit). Umelá inteligencia sa využíva hlavne na posúdenie relevantnosti sponzorovaných odkazov a podobné úlohy výhodné pre biznis Facebooku. Aby boli stránky dostatočne responzívne, na spracovanie reakcie na aktivitu používateľa je k dispozícii len veľmi krátky čas. Inak by sa zobrazovanie stránok oneskorovalo, čo by kazilo dojem z používateľského rozhrania a klesal by parameter revenue per user. Pri 200 ms latencii klesá tento parameter o 20 %. GPU čiže výkonné grafické jadrá, ktoré sú vhodné aj na rôzne výpočtovo náročné úlohy, sa využívajú na trénovanie analytických modelov, ktoré sa robí hlavne v noci a spracúvajú sa pri tom metadáta zozbierané cez deň. Veľmi to pripomína ľudské učenie. Podnety, ktoré sa človek cez deň naučil, si mozog triedi a kategorizuje v noci. Rozdiel vo výkonnosti trénovania modelov medzi GPU a CPU je 10 – 20-násobný. Preto keby sa v noci všetky nevy­užité CPU využívali na trénovanie modelov, bolo by to energeticky veľmi nevýhodné, keďže rovnaký výkon by zvládla infraštruktúra zložená z 20-krát menšieho počtu GPU. To je dôvod, prečo sa infraštruktúra CPU v noci na tieto účely nevyužíva. Pretože GPU sú veľmi drahé, majú v súčasnosti v hardvéri Facebooku podiel približne 5 – 7 %.

Teraz si predstavte čip, ktorý by bol rovnako výkonný ako Xeon a môžete na ňom spúšťať bežné úlohy súvisiace s generovaním webových stránok a transakčným spracovaním údajov, no zároveň by bol tento čip rovnako výkonný ako GPU, napríklad Turing. Takáto unifikácia umožní namiesto vypnutia nevyužitých transakčných serverov ich nasadenie aj na úlohy, na ktoré sa v súčasnosti využívajú prevažne GPU. Zvýšil by sa tak výkon infraštruktúry optimalizovanej pre IT minimálne 10×, a to bez nutnosti desaťnásobne vyšších investícií do drahých grafických procesorov. 

Ďalší z aspektov je ten, že procesory Xeon D sa nehodia na úlohy vyžadujúce High Performance Computing, takže 70 % infraštruktúry Facebooku sa nedá ani interne využívať a už vôbec nie prenajímať na úlohy HPC. Naproti tomu náš čip Prodigy sa hodí rovnako dobre na bežnú transakčnú záťaž, generovanie webových stránok, analýzy, trénovanie modelov aj na HPC. Takáto unifikácia výrazne zmení ekonomickú dynamiku. V súčasnosti sa do infraštruktúry pre AI nedá investovať 10 – 50 miliárd dolárov, pretože nie je garantovaná návratnosť. AI môže napredovať len takým tempom, ktoré garantuje návratnosť. Navyše podľa odhadov je vo svete nevyužitý hardvér za viac ako 100 miliárd dolárov. Ak umožníme využitie tohto hardvéru pre AI, zmení to ekonomické pomery a bude 10-násobne akcelerovať tempo AI inovácií.

 

PCR: Takto získaná kapacita, napríklad v dátových centrách ­Facebooku, sa bude využívať len interne alebo sa bude prenajímať aj iným zákazníkom?

RD: Bude sa využívať interne a môže sa aj prenajímať. Pri prenajímaní kapacity HPC to už v súčasnosti funguje na princípe burzy. Zákazník špecifikuje, akú kapacitu potrebuje, na ako dlho, v akom časovom horizonte ju potrebuje, či mu stačí mať túto kapacitu v noci. Potom na základe svojich požiadaviek dostane ponuku, pričom cena v noci môže byť 4 až 8-krát nižšia než cez deň. Amazon tento systém už využíva a je predpoklad, že ostatné firmy ho budú nasledovať. 

 

PCR: Ako jeden z pilierov na dosiahnutie vysokého výkonu pri nízkej energetickej náročnosti ste prezentovali 7 nm technológiu. Firmy, ktoré už túto technológiu využívajú, napríklad ­Huawei vo svojom najnovšom mobilnom procesore, konštatovali, že zvládnuť ju bolo veľmi náročné. Trúfate si na to?

RD: My sme malá firma a TSMC (Taiwan Semiconductor Manufacturing Company), v súčasnosti jediný výrobca 7 nm čipov, pristupuje k zákazníkom veľmi selektívne. Veľa firiem, ako napríklad Wave Computing alebo Cerberus AI, využíva služby agregátorov, ktorí sú majoritne vlastnení TSMC, alebo služby väčších firiem, ktoré TSMC nevlastní. My pracujeme priamo s TSMC, pretože táto firma v minulosti dobre zarobila na našich riešeniach, takže nám ako jedinej malej firme na základe predchádzajúcich skúseností dôverujú. Sedemnanometrový proces je skutočne veľmi náročný, dôkazom toho je, že s ním má dramatické problémy aj Intel. Inak označenie procesov technológie čipov je často marketingovo zmätočné. Napríklad 7 nm proces TSMC je ekvivalentný 10 nm procesu Intelu, takže Intel reálne zaostáva v technológiách za TSMC najviac 6-9 mesiacov, možno menej. Masky pre čip stoja 6 až 7 miliónov dolárov, takže malá firma si nemôže dovoliť nechať vyrábať viac typov čipov. Náš čip je preto univerzálny. Navyše viac než polovica vyrobených veľkých čipov má výrobné chyby. My sme navrhli náš čip tak, že ak je výrobná chyba na polovici plochy čipu, dá sa využiť druhá polovica. Takže čipy, ktoré majú výrobné chyby, nevyhadzujeme, ale dajú sa použiť a predať ako lacnejší produkt. Na menej náročné úlohy možno použiť aj čipy, ktoré majú funkčnú len štvrtinu. Takže máme jednu produktovú líniu, ale takto podľa toho, aká časť čipu je bez defektov, špecifikujeme cenové a výkonové varianty.

 

PCR: Architektúra vášho čipu sa dá charakterizovať skôr ako RISC, teda procesor s redukovanou množinou inštrukcií, alebo ako CISC? Prípadne využívate masívny paralelizmus alebo podobnú fintu?

RD: Zbytočne masívny paralelizmus patrí jednoznačne do minulosti. Posledným pokusom boli procesory ARM pre dátové centrá. Takéto procesory sa pre neakceptovateľnú latenciu nehodia na generovanie stránok a podobné úlohy. Výkon jadra jednoducho musí byť porovnateľný s procesormi Intel. Ak v súvislosti s rozdelením úloh na veľký počet menej výkonných jadier vznikne latencia, je to problém. Takisto pomer cena/výkon musí byť minimálne 2 až 3-krát lepší ako pri procesoroch Intelu či AMD. Keby pomer výkonu za dolár bol len o 20 – 30 % lepší, tieto giganty sú schopné zákazníkom ponúknuť zľavy, ktoré to vykompenzujú. Preto sa snažíme o trojnásobne výhodnejší CAPEX, teda 3-krát menšie investičné náklady za porovnateľný výkon. Ako sme to dosiahli? Využívame rovnaké tranzistory aj vodiče ako Intel, takže v tom rozdiel nie je, ale rozdiel je v architektúre. Nie je to typický RISC ani CISC, ktorý má 16 rôznych dĺžok inštrukcií od jedného do 15 bajtov, rôzne módy ­inštrukcií a podobne. Atomárne inštrukcie nášho procesora Prodigy majú 4 bajty a inštrukčné slovo ich násobok, teda 4, 8, 12 alebo 16 bajtov. Náš procesor má podstatne viac inštrukcií ako typický procesor RISC, ale je podstatne jednoduchší ako CISC. Museli sme zvoliť vhodný kompromis, pretože 90 % inštrukcií pri procesore CISC prinesie len 3 – 5 % nárast výkonu a množina inštrukcií RISC nie je na niektoré účely dostatočná.

 

PCR: Takže ste museli vytvoriť vlastný assembler aj kompilátory z vyšších programovacích jazykov?

RD: Využili sme GCC čiže GNU Compiller Collection a vytvorili sme pre náš procesor modul na generovanie kódu. Keď vo firmách začnú vy­užívať náš procesor, budú môcť využiť doterajšie skúsenosti s vývojom aplikácií pre Linux. To je veľká výhoda na rýchle osvojenie. Nebude treba ani prerábať existujúce skripty pre Linux. Budúci rok budeme mať LLVM (Low Level Virtual Machine) čiže infraštruktúru, ktorú využíva Apple či Microsoft v Azure cloude. Niektoré základné aplikácie, ako napríklad Apache či databázový server MySQL, budú natívne prekompilované. K dispozícii máme aj binárny emulátor, na ktorom pobežia aplikácie síce menšou rýchlosťou, ale pobežia. Partnerom a zákazníkom poskytneme najskôr softvérový emulátor, ktorý je približne dvakrát pomalší než ­reálny hardvér. Pre veľkých zákazníkov bude k dispozícii hardvérový emulátor, ktorý bude, samozrejme, podstatne drahší, odhadujem 250 000 dolárov. Bude verne emulovať hardvérové aspekty čipu. Pre menších partnerov bude dostupný emulátor v cloude.

 

PCR: Aké sú vaše plány, čo sa týka slovenskej pobočky? Ako budete získavať talentovaných ľudí pri súčasnom nedostatku IT špecialistov?

RD: Ak v USA potrebujem odborníka s určitou špecializáciou, nájdem ho pomocou siete kontraktorov počas niekoľkých týždňov. Na Slovensku takáto sieť lovcov mozgov zatiaľ vybudovaná nie je, takže nájsť požadovaného špecialistu je oveľa ťažšie a ide to pomalšie. Vedenie slovenskej pobočky chodí po univerzitách, máme partnerov, ktorí hľadajú vhodných ľudí. Je to ťažké, ale nevzdávame sa. Je to ako s automobilovým priemyslom na Slovensku. Pred 15 rokmi tu bola zelená lúka, a keby niet niekoľkých nadšencov, ktorí tejto myšlienke rozvoja automobilového priemyslu verili, nebolo by toto odvetvie v súčasnosti vlajkové. Hľadáme aj v okolitých európskych štátoch.

 

 


Nechajte si posielať prehľad najdôležitejších správ emailom

Mohlo by Vás zaujímať

Magazín

Balkánsky trip

02.09.2019 12:57

Balkán má stále nádych nespútanej divočiny s rúškom neznáma. Asi aj preto sme sa ho rozhodli tento rok prejsť krížom na motorkách. Dobrá partia piatich ostrieľaných motorkárov na cestných endurách a h ...

Magazín

Riešenia Bosch pre autonómne autá

02.09.2019 12:36

Vojdete do garáže, vystúpite a jednoduchým ťuknutím na obrazovku smartfónu pošlete auto zaparkovať. Nič viac neriešite. Idete si nakúpiť, vybaviť rokovanie, naobedovať sa. Pri odchode vojdete do garáž ...

Magazín

Ako jednoducho využívať hands-free v aute

02.09.2019 10:57

Napriek tomu, že dnes prakticky na trhu nenájdete auto, ktoré by nemalo vstavané bluetooth hands-free, veľmi často sa na cestách stretávame s vodičmi, ktorí ho nepoužívajú a telefonujú s mobilom pri u ...

q

2 Comments

  1. Made in Slovakia ... reakcia na: Prodigy: Univerzálny procesor Made in Slovakia
    18.2.2019 12:02
    .... :) Ta sme se pobaveli. Danilak je (musi byt) americky obcan. A podla zakonov ktore sme si prijali tak prisiel o slovenske obcianstvo. Cele to teda bolo spachane v US obcanom US slovenskej narodnosti. To je asi tak secko ....
    Reagovať
  2. Na rozhovori ste dobry a konecne aj normalny nadpis reakcia na: Prodigy: Univerzálny procesor Made in Slovakia
    17.2.2019 02:02
    Na rozhovori ste dobry a konecne aj normalny nadpis
    Reagovať

Vyhľadávanie

ACER_092019

Najnovšie videá

elearn