U utrci za ubrzavanjem umjetne inteligencije, tvrtka Cerebras iz Silicijske doline zauzima neobičnu strategiju: Idi naprijed.
Dok je tipičan računalni čip veličine nokta, Cerebras' čip je veličine tanjura za večeru.
Duboko učenje, AI tehnologija koja pokreće glasovne asistente, automobile sa samoupravljanjem i prvake Goa, oslanja se na složenu&"neuronsku mrežu [GG" quot; softver raspoređen u slojeve. Sustavi za duboko učenje mogu raditi na jednom računalu, ali najveći sustavi raspoređeni su na tisuće povezanih strojeva, ponekad u velikim podatkovnim centrima, poput onih kojima upravlja Google. U velikom skupu, do 48 poslužitelja veličine kutija za pizzu klizi u police za jednog čovjeka; Police su poredane u redove i ispunjavaju zgradu veličine skladišta. Neuronske mreže u tim sustavima mogu riješiti zastrašujuće probleme, ali se također suočavaju s očitim izazovima. Mreža koja se razmnožava u grozdu je poput mozga razbacanog po prostoriji i povezanog zajedno. Elektroni se brzo kreću, ali i pored toga komunikacija preko čipova je spora i troši puno energije.
Eric Vishria, generalni partner tvrtke Benchmark u San Franciscu, prvi je put shvatio problem kada je čuo kako je Cerebras Systems, nova tvrtka za računalne čipove, govorila u proljeće 2016. Benchmark je poznat po tome što je bio rani investitor u tvrtke poput Twittera, Uber i ebay - to jest u softveru, a ne u hardveru. Tvrtka godišnje pogleda oko 200 početnika i ulaže u jedno." Igrali smo ovu igru ljubljenja tisuću žaba," Vishria mi je rekla. Na početku svog govora odlučio je baciti žabu natrag." Pomislio sam, zašto sam pristao na ovo?" Mi' nećemo ulagati u hardver,&", prisjetio se razmišljanja." Glupo je'"
Suosnivač Cerebre, Andrew Feldman, započeo je s naslovnicom na slajdu svoje ekipe i privukao pozornost Vishrije &: njegov talent bio je impresivan. Feldman je zatim usporedio dvije vrste računalnih čipova. Prvo je pogledao grafičke procesorske jedinice ili Gpus čipove dizajnirane posebno za stvaranje 3D slika. Danas se sustavi strojnog učenja' oslanjaju na ove grafičke čipove iz različitih razloga. Zatim je pogledao središnje procesorske jedinice ili cpus, čipove opće namjene koji većinu posla obavljaju u tipičnom računalu.&"Treći slajd je o' Gpus,' koji su zapravo loši za duboko učenje - samo su sto puta bolji od CPU -a." Cerebras je smislio novu vrstu čipa koji nije dizajniran za grafiku, već je posebno dizajniran za umjetnu inteligenciju.
Vishria je navikla slušati glasove tvrtki koje planiraju koristiti dubinsko učenje u cyber sigurnosti, medicinskim slikama, chatbotovima i drugim aplikacijama. Nakon razgovora tvrtke Cerebras &, razgovarao je s inženjerima u tvrtkama koje financira Benchmark, uključujući Zillow, Uber i Stitch Fix; Rekli su mu da imaju problema s AI jer je predugo trajalo" vlak" neuronska mreža. Google je počeo koristiti superbrze" tenzorske procesorske jedinice," ili Tpus, posebni čipovi dizajnirani za UMJETNU inteligenciju. Vishria je znao da se događa zlatna groznica i da je netko morao pokupiti lopate i lopate.
Te su godine Benchmark i Foundation Capital, još jedna tvrtka rizičnog kapitala, predvodili financiranje Cerebre u iznosu od 27 milijuna dolara, čime je prikupljeno gotovo 500 milijuna dolara. Druge tvrtke također proizvode takozvane akceleratore umjetne inteligencije; Cerebre' konkurenti groq, Graphcore i Sambanova međusobno su prikupili više od 2 milijarde dolara kapitala. Ali Cerebras' pristup je jedinstven. Umjesto da ispisuje desetke pločica na velikom komadu silicija, odsiječe ih i poveže međusobno, tvrtka je stvorila divovsku" wafer level" čip. Dok je tipičan računalni čip veličine nokta, Cerebras je otprilike veličine tanjura za večeru i najveći je računalni čip na svijetu.
Čak su i natjecatelji smatrali da je podvig impresivan." Ovo je nova znanost," Rekao mi je Nigel Toon, izvršni direktor i suosnivač Graphcore'&"To' nevjerojatan je inženjering. To je' remek -djelo." U međuvremenu, drugi inženjer s kojim sam razgovarao opisao ga je kao znanstveni projekt - velik za dobrobit' U prošlosti je tvrtka pokušavala i nije uspjela napraviti divovske čipove; Cerebre' plan predstavlja okladu da je prevladavanje inženjerskih izazova moguće i isplati se." Iskreno rečeno, za mene je neznanje prednost," Rekao je Vishria." Ne znam' ne znam da sam znao koliko je teško raditi ono što rade, imao bih hrabrosti uložiti."
Lako je uzeti zdravo za gotovo da računala postaju sve brža i brža. To se često objašnjava Mooreovim zakonom: obrazac koji je 1965. godine uspostavio pionir poluvodiča Gordon Moore, prema kojem se broj tranzistora na čipu udvostručuje svake godine ili svake dvije godine. Naravno, Moore' s Law nije' zapravo zakon, a inženjeri neumorno rade na smanjivanju tranzistora, a istovremeno poboljšavaju&arhitekturu" svakog čipa za stvaranje učinkovitijih i snažnijih dizajna.
Arhitekti čipova dugo su se pitali može li jedan veliki računalni čip biti učinkovitiji od hrpe manjih čipova, baš kao što je grad s koncentriranim resursima i gustim blokovima učinkovitiji od predgrađa. Ideja je prvi put isprobana šezdesetih godina prošlog stoljeća, kada je Texas Instruments ograničio proizvodnju čipsa širine nekoliko centimetara. No, inženjeri tvrtke' naišli su na probleme s prinosom. Na bilo kojoj silicijskoj pločici proizvodni nedostaci neizbježno ugrožavaju određeni broj krugova. Ako oblatna sadrži 50 žetona, tvrtka može baciti loše i prodati dobre. No kad bi svaki uspješan čip ovisio o radnom krugu jedne pločice, mnoge skupe pločice bile bi odbačene. Texas Instruments je pronašao rješenje, ali tehnologija i potreba još nisu bili prisutni.
Osamdesetih godina inženjer po imenu Gene Amdahl pokušao je ponovno riješiti problem s tvrtkom koju je osnovao pod nazivom Trilogy Systems. Postao je najveći startup u povijesti Silicijske doline &, s oko 250 milijuna dolara financiranja. Kako bi riješio problem prinosa, Trilogy je na čip ispisao suvišne komponente. Ova metoda povećava proizvodnju, ali smanjuje brzinu čipa. U međuvremenu, Trilogija se bori na druge načine. Amdahl je svojim Rolls Royceom pregazio motociklista uzrokujući pravne probleme; Njegov je predsjednik umro od tumora na mozgu; Obilne kiše odgodile su izgradnju tvornica, zahrđale klimatizacijske sustave i sakupljale prašinu na strugotinama. 1984. Trilogy je odustala." Nisam znao' nisam shvatio koliko bi to bilo teško," Amdahlov&sin rekao je za The Times.
Ako je tehnologija Trilogy' uspješna, sada bi se mogla koristiti za duboko učenje. Umjesto toga, Gpus (čipovi koji se koriste u video igrama) rješavaju znanstvene probleme u nacionalnim laboratorijima. Ponovna upotreba gpusa za AI ovisi o činjenici da se neuronske mreže, iako vrlo složene, oslanjaju na mnogo množenja i zbrajanja. Kada su&neuroni" u mreži se međusobno aktiviraju, međusobno pojačavaju ili umanjuju signale' množeći ih koeficijentima koji se nazivaju utezi veze. Učinkovit AI procesor paralelno će izračunati mnoge aktivacije; Kombinira ih u niz brojeva koji se nazivaju vektori, ili rešetke brojeva koji se zovu matrice, ili blokove veće dimenzije koji se zovu tenzori. U idealnom slučaju, želite pomnožiti jednu matricu ili tenzor s drugom odjednom. Gpus je dizajniran za nešto slično:
& quot; Sjena Trilogije je tako velika," Feldman mi je nedavno rekao&da ljudi prestanu razmišljati i počnu govoriti:' To je' nemoguće.'" GPU tvrtke, uključujući Nvidiju, iskoristile su priliku prilagoditi svoje čipove za duboko učenje. Godine 2015. Feldman i skupina računalnih arhitekata počeli su raspravljati o ideji većih čipova nakon što su suosnivali proizvođača računalnih poslužitelja, Seamicro, koji su prodali proizvođaču čipova AMD za 334 milijuna dolara. Četiri su mjeseca radili na tom pitanju u uredu posuđenom od tvrtke za rizični kapital. Kad su imali nacrt održivog rješenja, razgovarali su s osam tvrtki; Dobio sam sredstva od Benchmarka, Foundation Capitala i Eclipsea i počeo zapošljavati.
Cerebre' prvi zadatak je riješiti proizvodne probleme koji muče velike žetone. Čip je izvorno bio cilindrični ingot od kristalnog silicija promjera oko stope, a čelični je ingot izrezan na pločice debljine manje od milimetra. Krug se tada&ispisuje" na ploču kroz proces koji se naziva litografija. Kemikalije osjetljive na UV zrake pažljivo se talože na površinu, a zatim se snop UV svjetla projicira kroz detaljni predložak koji se naziva maska. Ove kemikalije reagiraju u krugove.
Uobičajeno, područje prekriveno svjetlošću projicirano kroz masku postaje čip. Zatim se čip pomiče i svjetlo se ponovno projicira. Nakon što su ispisani deseci ili stotine čipova, laserski su izrezani iz pločica." Najlakši način da to učinite je da vaša mama izvadi okruglo tijesto za kolačiće," Rekao je Feldman." Ona ima kalup za kolačiće i pažljivo ih reže." Zakoni fizike i optike onemogućuju izradu većeg rezača kolačića. Kao rezultat toga,&"razvili smo tehnologiju tako da možete komunicirati kroz malo tijesta između dva kolačića."
U tiskarskom sustavu Cerebras razvijenom u suradnji s TSMC -om, tvrtkom koja proizvodi čip, rubovi kolačića preklapaju se tako da su im žice spojene. Rezultat je jedna&"veličina pločice &"; oblatna, kvadrat u boji bakra i 21 cm sa svake strane. (Najveći Gpus promjera je nešto manji od 3 cm.) Cerebras je proizveo svoj prvi čip, Wafer-scale Engine 1, 2019. Wse-2, predstavljen ove godine, koristi gušći krug, s 2,6 bilijuna tranzistora upakiranih u 850.000 procesorskih jedinica , ili&"jezgre &". (Top Gpus ima samo nekoliko tisuća jezgri, dok većina CPU -a ima manje od 10.)
& "2,6 bilijuna tranzistora je zapanjujuće," rekao je Aart de Geus, predsjednik i suizvršni direktor Synopsysa. Synopsys nudi neki softver koji Cerebras i drugi proizvođači čipova koriste za izradu i provjeru dizajna čipova. De Geus kaže da pri projektiranju čipova inženjeri prvo moraju razmotriti dva temeljna pitanja:" Odakle podaci dolaze?" Gdje se rukuje?" Kad su čipovi bili jednostavniji, dizajneri su na ova pitanja mogli odgovoriti olovkom na stolu za crtanje; Kada radite sa današnjim složenijim čipovima &, unesite kôd koji opisuje arhitekturu koju želite stvoriti, a zatim prijeđite na alate za vizualizaciju i kodiranje." Razmislite o tome kako kuća izgleda s krova," rekao je de Geus." Je li garaža u blizini kuhinje? Ili je blizu spavaće sobe? Želite ga u blizini kuhinje - inače ćete' morati nositi namirnice kroz svaki kutak kuće." Nakon što je osmislio tlocrt, objasnio je,&"možete koristiti jednadžbe za opisivanje onoga što se događa u prostoriji."
Složenost dizajna čipova zapanjujuća je." Ovdje ima mnogo slojeva," rekao je de Geus, s ukrštenim krugovima i naslaganim jedan na drugi, poput velikog nadvožnjaka na autocesti. Za inženjere Cerebrasa, koji rade na ljestvici ploče, složenost je povećana. Sinopsys' softver pomaže u obliku umjetne inteligencije: algoritmi za usklađivanje uzoraka identificiraju uobičajene probleme i predlažu rješenja; Program optimizatora pomiče sobu na brži i učinkovitiji raspored. Ako se previše traka pokuša ugurati u zgradu s dva bloka, softver omogućuje inženjerima da glume Roberta Mosesa i pomaknu blok.
Na kraju, kaže Feldman, postoji nekoliko prednosti predimenzioniranih čipova. Kad su jezgre na istom čipu, brže komuniciraju: mozak računala&sada je koncentriran u jednoj lubanji, a ne razasut po prostoriji. Veći čipovi također bolje podnose memoriju. Obično mali čip spreman za obradu datoteke najprije mora dobiti datoteku iz zajedničkog memorijskog čipa koji se nalazi na drugom mjestu na ploči; Samo najčešće korišteni podaci spremaju se u predmemoriju bliže kući. Opisujući učinkovitost čipova na razini pločica, Feldman je ponudio analogiju: Zamolio me da zamislim skupinu cimera (jezgru) koja živi u studentskom domu (čip) koji su htjeli gledati nogometnu utakmicu (raditi na računaru). Kako bi gledali utakmicu, kaže feldman, sustanari moraju čuvati pivo u hladnjaku (podaci se pohranjuju u memoriji); Cerebras drži hladnjak u svakoj prostoriji pa cimeri ne moraju' riskirati odlazak u zajedničku kuhinju u domu' ili Safeway. To ima dodatnu prednost jer omogućuje svakoj jezgri bržu obradu različitih podataka." Tako da mogu imati Bud u svojoj spavaonici," Rekao je Feldman." U svom domu možete imati Schlitza."
Konačno, Cerebre moraju prevladati probleme s prinosom. Inženjeri tvrtke' koriste trilogiju' trik: višak. Ali ovdje imaju prednost u odnosu na svoje prethodnike. Trilogy pokušava napraviti generičke čipove s mnogo različitih komponenti, pa bi ožičenje oko jedne neuspjele komponente moglo zahtijevati povezivanje s udaljenom zamjenom. Na cerebralima' čip, sve jezgre su identične. Ako je jedan keks pogrešan, i oni oko njega su jednako dobri.