Me siguri keni menduar nëse është e mundur të kesh një tru artificial të fuqishëm pa u mbështetur në serverat e një kompanie të madhe në Shtetet e Bashkuara që janë funksionale. Përgjigja është një po e prerë, dhe për më tepër, sot është e mundur. ekzekutoni modele gjuhësore Në një pajisje aq kompakte sa një Raspberry Pi, ajo ka pushuar së qeni një eksperiment për të apasionuarit pas teknologjisë dhe është bërë një opsion teknik i zbatueshëm dhe çuditërisht efikas.
Magjia ndodh falë informatikës në skaje ose informatikë buzëqë në thelb konsiston në përpunimin e informacionit pikërisht aty ku gjenerohet. Duke zhvendosur inteligjencën artificiale në pajisje, ne mundësojmë privatësia e të dhënave të jemi absolutë, meqenëse asgjë nuk del nga shtëpia, dhe ne eliminojmë atë vonesë frustruese që ndodh kur të dhënat duhet të udhëtojnë mijëra kilometra para se të marrin një përgjigje.
Pajisjet ideale për inteligjencën artificiale lokale
Nëse doni të futeni në këtë rrëmujë, nuk është çdo targë e përshtatshme. Raspberry Pi 5 Është kandidati perfekt falë procesorit të tij Arm Cortex-A76, një bishë e vërtetë për trajtimin e detyrave të nxjerrjes së përfundimeve. Për t'u siguruar që përvoja nuk është torturë, është thelbësore të keni modelin e 8 GB RAM, meqenëse modelet e kuantizuara konsumojnë një sasi të konsiderueshme të Memorie RAM Dhe sistemi operativ ka nevojë për ajër për të marrë frymë.
Një fushë ku shumë njerëz bëjnë gabime është temperatura. Përfundimi LLM i shtyn bërthamat në 100%, duke bërë që procesori të nxehet shpejt. Për të parandaluar rënien e performancës së sistemit për shkak të kësaj, mbytje termike, Ftohës aktiv zyrtar Nuk është një aksesor opsional, është i detyrueshëm. Nëse nuk doni që Pi-ja juaj të shndërrohet në një toster, ju nevojitet ai ventilim aktiv.
Lidhur me hapësirën e ruajtjes, ndërsa një kartë microSD e Klasit A2 është e mjaftueshme, nëse doni që modelet të ngarkohen sa hap e mbyll sytë, është më mirë të përdorni një NVMe SSD duke përdorur një M.2 HAT. Dallimi është i tmerrshëm: ngarkimi i një modeli 2GB mund të shkojë nga 12 sekonda në vetëm 3 ose 4, gjë që përshpejton vendosjen të çdo aplikacioni në skaj.
Kuptimi i SLM-ve dhe kuantifikimi
Harrojeni përpjekjen për të ekzekutuar GPT-4 në një Raspberry Pi; do të ishte si të përpiqesh të fusësh një elefant në një makinë kompakte. Këtu është vendi ku... Modele të Vogla Gjuhësore (SLM)Këto modele, të cilat zakonisht kanë midis disa qindra milionë dhe 7 ose 8 miliardë parametra, janë projektuar posaçërisht për pajisje me burime të kufizuara pa humbur shumë koherencë.
Truku mjeshtëror për ta bërë këtë të funksionojë është Kuantifikimi i GGUF-sëNë thelb, kjo përfshin uljen e saktësisë së peshave të modelit (për shembull, nga 16 bit në 4 bit). Kjo bën që modeli të zërë shumë më pak RAM dhe shpejtësia e gjenerimit i tokenëve është i pranueshëm, duke lejuar shpejtësi leximi të rehatshme për një njeri.
- Llama 3.2 (1B dhe 3B): Ideale për dialogë shumëgjuhësh dhe detyra përmbledhjeje.
- Gemma 3 dhe 3n: Ato dallohen për efikasitetin e tyre dhe, në disa versione, për aftësitë vizuale.
- Microsoft Phi-3.5: Shumë i fuqishëm në arsyetim, megjithëse ndonjëherë mund të jetë shumë i gjatë në fjalë.
- Lama e Vogël: Mbreti i shpejtësisë, perfekt për komanda të thjeshta të automatizimit në shtëpi.
Mjetet e vendosjes: Ollama dhe Llama.cpp
Për të vënë në lëvizje të gjitha këto, kemi dy rrugë kryesore. Nga njëra anë, Telefono.cpp Është opsioni për ata që duan kontroll të plotë. Ju lejon të kompiloni kodin burimor duke optimizuar udhëzimet ARM NEON dhe dotprod, duke shtrydhur deri në pikën e fundit të fuqisë nga silikoni. Është ideal për ekspozimin e një API i pajtueshëm me OpenAI në portin 8080 dhe lidhni Pi me pajisje të tjera në rrjetin lokal.
Nga ana tjetër kemi Ollamaqë është ndoshta mënyra më e lehtë për të menaxhuar modelet sot. Me disa komanda në terminal, mund të shkarkoni dhe ekzekutoni modele si Llama ose Mugull Pa ndërlikime. Ollama konfiguron një server në sfond që lejon ndërveprimin me IA-në përmes një biblioteka python shumë intuitiv, duke e bërë të lehtë krijimin e skripteve të personalizuara.
Për të optimizuar sistemin, veçanërisht në versionet Lite të Raspberry Pi OS, është thelbësore rrit hapësirën e shkëmbimit në rreth 4GB. Kjo parandalon që procesi të mbyllet nga OOM Killer (Mungesë Memorie) kur modeli dhe konteksti i bisedës fillojnë të mbushin RAM-in e disponueshëm.
Modelet e Vizionit dhe Gjuhës (VLM) në skaj
Gjërat bëhen vërtet interesante kur kombinojmë shikimin me fjalët. Modelet e Gjuhës së Shikimit (VLM) Ato i lejojnë Raspberry Pi-t jo vetëm të lexojë, por edhe të kuptojë imazhet. Modele si Ëndrra e hënës Ato janë çuditërisht të shpejta dhe të afta të përshkruajnë skena, të numërojnë objekte ose të kryejnë OCR direkt në pajisje.
Një shembull praktik dhe shumë i fuqishëm është përdorimi i Kamera AI Raspberry PiNë vend që të dërgojë video të papërpunuar në cloud, kamera përpunon imazhin në sensor dhe gjeneron meta të dhëna (siç janë etiketat e objekteve dhe nivelet e besimit). Këto të dhëna të lehta dërgohen në LLM, e cila i konverton ato në përmbledhje të lexueshme Për njerëzit. Është ndryshimi midis dërgimit të një videoje 1GB ose një skedari teksti 1KB.
Kjo qasje hap derën për aplikime të tilla si monitorimi i rafteve Në shitjen me pakicë, ku sistemi njofton nëse mungon stoku, ose në mbikëqyrjen e fabrikës për të kontrolluar nëse operatorët po veshin Pajisje sigurieE gjithë kjo duke ruajtur privatësinë dhe duke iu përmbajtur rregulloreve të GDPR duke mos ngarkuar imazhe në servera të jashtëm.
Rastet e përdorimit në botën reale dhe automatizimi
Nëse ju pëlqen automatizimi në shtëpi, mund ta shndërroni Pi-në tuaj në një qendra lokale e kontrollitImagjinoni një asistent zëri që përdor Whisper.cpp për të transkriptuar zërin tuaj dhe një LLM lokal për të analizuar qëllimin në JSON, i cili më pas shkakton veprime në Home Assistant. E gjithë kjo ndodh në milisekonda dhe Nuk ka lidhje interneti.
Në mjediset industriale, këto sisteme mund të përdoren për Mirëmbajtje Parashikuese ose optimizimi i proceseve në kohë reale. Ato janë gjithashtu ar i pastër për bujqësinë precize, ku një pajisje mobile mund të analizojë shëndetin e të korrave në mes të një fushe pa pasur nevojë për mbulim 5G.
Nga mjetet edukative në zona të largëta te asistentët për personat me aftësi të kufizuara, aftësia për të ekzekutuar AI gjeneruese në kufij Demokratizon aksesin në teknologji dhe lejon krijimin e zgjidhjeve hiper-specializuara që nuk varen nga një tarifë mujore abonimi në cloud.
Të kesh aftësinë për të përpunuar gjuhën dhe vizionin lokalisht në një tabelë prej 80 eurosh është një hap i madh teknologjik. Duke kombinuar harduerin e optimizuar, modelet e kuantizuara dhe mjetet si Ollama, çdo zhvillues mund të ndërtojë një ekosistem të shpejtë, efikas dhe privat të IA-së që është vërtet i dobishëm në botën fizike.
