O Brif Fframiau i Ficrosglodion, o LLMs i AI Lleol - Troed Crebachu Deallusrwydd

Rwyf wedi bod yn meddwl llawer am gyfochrebiaeth rhwng hanes cyfrifiadureg a'r hyn sy'n digwydd gyda deallusrwydd artiffisial ar hyn o bryd. Ar ôl recordiad pod Cloudy with a Chance of Insights yr wythnos ddiwethaf, pendronais ar ein sgwrs a daeth y cyfochrebiaeth hon yn gliriach fyth.

Mae'r gyfochrebiaeth yn drawiadol unwaith y byddwch chi'n ei gweld.

Mae'r sgwrs gyfredol am AI wedi canolbwyntio'n fawr ar y ras i adeiladu a gwella modelau ffin. Mae'r ffocws hwnnw wedi dechrau siapio seilwaith corfforol y diwydiant mewn ffyrdd sy'n dod yn fwyfwy amlwg. Mae un GPU AI-optimeiddiol yn gallu tynnu rhwng 700 a 1,200 wat, a phan fo'r cydrannau hynny wedi'u cydosod mewn gweinyddion AI modern, mae'r amlen bŵer yn symud yn gyflym i'r 10 i 12 cilowat fesul peiriant cyn i ben rhwydwaith, storio ac oeri gael eu cynnwys. Mae amseroedd arwain ar gyfer GPUs penodol wedi ymestyn i 30-50 wythnos.

Yr Arc Hanesyddol mewn Cyfrifiadureg

ENIAC - 1945. 18,000 falf fwlb. Yn pwyso 27 tunnell. Yn llenwi ystafell gyfan. Yn cynhyrchu cymaint o wres fel yr oedd y stafell angen adref-adref ar wahân. Roedd cyfrifiannu yn infrastrwythur cymhleth iawn.

Cyfrifiadur prif fframwaith - 1950au i 1970au. Peiriant maint ystafell. Roedd cwmnïau'n rhannu amser cyfrifiadur yn ôl amserlen. Roedd cyfrifiadureg yn adnodd wedi'i reoli'n ofalus.

Cyfrifiaduron personol - canol 1970au i 80au. Cyfrifiadureg yn cyrraedd y swyddfa, ac yna'r cartref. Roedd y shifft hon yn drawsnewidiol yn gymdeithasol - o gyfrifiadureg broffesiynol i gyfrifiadureg personol.

Dyfeisiau symudol - 2007 ymlaen. Cyfrifiadureg yn mynd i'ch poced. Mae cyfrifiadureg oddi-wrth-y-bwrdd yn dod yn normal.

Cyfrifiadureg fewnosodol - nawr ar ôl ychydig flynyddoedd. Cyfrifiadureg yn mynd i'r car, y tŷ craff, y gwatsys, y llestri meddygol.

Mae pob cam yn yr arc hwnnw yn symud cyfrifiadureg yn nes at y pwynt defnydd, yn lleihau'r rhwystr mynediad, ac yn ehangu'r defnydd.

Yr Arc AI Gyfochrog

Rydyn ni'n byw trwy'r arc cyfochrog hon nawr gydag AI.

Modelau Maes Ffwl Mawr (2020-heddiw) - GPT-4, Claude, Gemini. Yn rhedeg ar ddinawsgorau o GPUs. Yn ôl adroddiadau mae gan rai cyferbynwyr ganolfannau data sy'n defnyddio mwy o drydan na rhai gwledydd. Mae dallu'r cyfrifiannu hwn yn broblem amgylcheddol real.

Mae pob GPU modern yn tynnu 700-1200W ar ei ben ei hun. Mae canolfannau data ar gyfer hyfforddi a gweini modelau mawr yn cynrychioli gwir gost ynni sylweddol.

Fodd bynnag, mae rhywbeth arall yn digwydd yr un pryd.

Phi a Quantisation - Cyfrifiadureg AI yn Crebachu

Mae Phi - cyfres fodel Microsoft - yn enghraifft bwysig o'r cyfeiriad hwn. Mae Phi-3-mini, er enghraifft, yn fodel 3.8 biliwn paramedr sy'n rhedeg ar liniadur cyffredin - yn berfformio'n gystadleuol mewn sawl meincbrawf yn erbyn modelau llawer mwy.

Mae hynny'n bosibl am nifer o resymau:

• Quantisation - Yn lleihau maint y rhifau a ddefnyddir i gynrychioli pwysau'r model. Mae model 32-bit yn gallu dod yn fodel 4-bit heb golli gormod o safon.
• Dull Hyfforddiant - Mae Phi-3 wedi'i hyfforddi gyda data "synthetic" o safon uchel - "quality over quantity" - yn hytrach na dim ond data mwy.
• Optimalaeth fwriadol - Mae dylunio model i redeg yn effeithlon ar dosbarthiad symudol neu liniadur yn orfen benodol, nid sgil sgîl.

BitNet - Y Cyfeiriad Eithaf

Mae BitNet yn mynd hyd yn oed ymhellach. Yn hytrach na quantisation (lleihau maint rhifau), mae BitNet yn cyfyngu pwysau model i werthoedd bach iawn - +1, 0, -1 yn fras - sy'n golygu bod y cyfrifiannu yn newid o baru rhifau cymhleth i newid disymudol syml iawn ar lefel y silicwm. Gweler yr erthygl LinkedIn hon am fwy o fanylion., ond y cysyniad yw: pe bai hyfforddiant model yn gallu gweithio gyda BitNet ar raddfa ddigonol, gallech chi yn ddamcaniaethol redeg AI pwerus ar ficrobeiriannau effeithlon yn ynni iawn - y math o silicon sydd mewn synwyryddion, gwisgadwyr, offer smala.

Beth Mae Hyn yn ei Olygu

Mae'r cwestiwn pwysig yn symud o:

"Pa mor fawr yw'r model?"

i:

"Ble ddylai'r deallusrwydd fyw?"

Bydd modelau ffin mawr yn parhau i fodoli - ni fydd rhesymegau cymhleth, deallusrwydd cyffredinol, a chydsyniad synhwyrol yn diflannu i'r ymyl dros nos. Ond wrth i welliannau effeithlonrwydd gynyddu, mae'n dod yn fwyfwy ymarferol i gyfran sylweddol o allu AI ymarferol eistedd llawer yn nes at yr amgylcheddau lle mae penderfyniadau a gweithredoedd yn digwydd mewn gwirionedd.

Yn union fel y mae cyfrifiadureg prif fframwaith yn parhau i fodoli (mae mainframes yn dal i wasanaethu banciau a llywodraeth), ond nid y pwynt mynediad arferol bellach - bydd yr un peth yn wir am AI.

Nid yw'r gymhariaeth hanesyddol gyda chyfrifiadureg yn union, ond dylai'r cyfeiriad fod yn gyfarwydd. Mae ffurfiau newydd ar allu yn tueddu i ymddangos mewn amgylcheddau mawr arbenigol ble gellir crynhoi adnoddau. Wrth i'r technegau sylfaenol aeddfedu maent yn dod yn fwy effeithlon, sy'n caniatáu i'r un syniadau craidd ymddangos mewn lleoliadau llai ac ehangach eu dosbarthiad.

Os bydd modelau AI yn parhau ar y llwybr hwn, y peth diddorol nawr yw llai am faint o ddeallusrwydd y gellir ei grynhoi mewn un system, a mwy am ble mae'r deallusrwydd hwnnw fwyaf defnyddiol unwaith y bydd cost ei ddefnyddio'n dechrau gostwng.

Pan ddaw hyn yn bosibl, mae gwerth y systemau hyn yn newid ychydig. Nid soffistigeiddrwydd sgwrsiol yw'r budd o reidrwydd. Yn hytrach, gallu cymhwyso barn ar y pwynt lle mae angen cymryd camau gweithredu. Yn ymarferol, gallai hynny olygu modelau'n gweithredu y tu mewn i offer, dyfeisiau, llif gwaith, neu amgylcheddau gweithredol sy'n dibynnu ar resymeg statig neu ymyrraeth â llaw ar hyn o bryd.

Wrth i fodelau fynd yn llai ac yn rhatach i'w rhedeg, bydd gennym fwy o ryddid i benderfynu ble mae deallusrwydd yn perthyn o fewn system, yn hytrach na chael ein gorfodi i'w ganoli. Y her dechnegol wedyn yw llai am raddfa a mwy am leoliad - oherwydd bydd y gwerth go iawn yn dod o ddewis ble mae'r deallusrwydd hwnnw'n eistedd yn dawel y tu mewn i'r bensaernïaeth.

Felly'r cwestiwn go iawn yw - ble ydych chi'n meddwl y bydd?