Coral NPU: Potpuna platforma za Edge AI

15. listopada 2025. – Billy Rutledge, direktor inženjerstva, Google Research

Uvod u Coral NPU, potpunu, otvorenu platformu dizajniranu za rješavanje ključnih performansi, fragmentacije i privatnosti problema koji ograničavaju moćnu, uvijek dostupnu AI s niskom potrošnjom edge uređajima i nosivim uređajima. Brzi linkovi: Coral NPU

Generativna AI je temeljno preoblikovala naše očekivanja od tehnologije. Vidjeli smo moć velikih skala modela u oblaku koji stvaraju, razmišljaju i pomažu na nevjerojatne načine. Međutim, sljedeći veliki tehnološki skok nije samo o tome da učini model u oblaku veći; to je o tome da ugradi njihovu inteligenciju direktno u našu okružnu, osobnu okolinu. Za AI da bude stvarno pomoćna – proaktivno nam pomaže u navigaciji našeg dana, prevođenje razgovora u realnom vremenu ili razumijevanje našeg fizičkog konteksta – mora raditi na uređajima koje nosimo i nosimo. To predstavlja osnovni izazov: ugradnja ambijentalne AI na uređaje s ograničenom baterijom, oslobađajući ih oblaka kako bi omogućili privatne, cjelodnevne pomoćne iskustva.

Da bismo prešli s oblaka na osobne uređaje, moramo riješiti tri kritična problema:

– Razmak u performansama: Kompleksni, najnoviji modeli strojnog učenja (ML) zahtijevaju više izračuna, daleko više od ograničenog energentskog, termalnog i memorijskog budžeta edge uređaja.
– Taksa fragmentacije: Kompiliranje i optimiziranje ML modela za raznoliku pejzaž privatnih procesora je teško i skupo, što otežava konzistentnu performansu na uređajima.
– Deficit povjerenja korisnika: Da bi bila stvarno korisna, osobna AI mora prioritet staviti na privatnost i sigurnost osobnih podataka i konteksta.

Danas predstavljamo Coral NPU, potpunu platformu koja se temelji na našem originalnom radu s Coralom, pružajući dizajnerima hardvera i ML razvijateljima alatke potrebne za izgradnju sljedeće generacije privatnih, učinkovitih edge AI uređaja. U suradnji s Google Research i Google DeepMind, Coral NPU je AI-first hardverska arhitektura dizajnirana za omogućavanje sljedeće generacije ultra-low-power, uvijek dostupne edge AI. Nudi jedinstveno iskustvo za razvijatelje, čineći lakšim implementaciju aplikacija kao što je ambijentalno osjećanje. Posebno je dizajniran za cjelodnevnu AI na nosivim uređajima, minimizirajući potrošnju baterije i konfigurirajući se za viši performansi scenariji. Objavljivanje naših dokumentacije i alata omogućuje razvijateljima i dizajnerima da počnu graditi već danas.

Coral NPU: AI-first arhitektura

Razvijatelji koji grade za nisku potrošnju edge uređaja suočavaju se s fundamentalnom trgovačkom, odabirom između općenito namjenskih CPU-ova i specijaliziranih akceleratora. Općenito namjenski CPU-ovi nude ključnu fleksibilnost i široku podršku softvera, ali nemaju specifičnu arhitekturu domene za zahtjevne ML opterećenja, čineći ih manje performantnim i manje učinkovitim. S druge strane, specijalizirani akceleratori pružaju visok ML učinkovitost, ali su nefleksibilni, teško programski i neprikladni za opće zadatke. Ovaj hardverski problem je pojačan raznolikošću softverskog ekosistema. S izrazito različitim programskim modelima za CPU-ove i ML blokove, razvijatelji često moraju koristiti privatne kompajlere i kompleksne naredbene baferove. To stvara strmi uspon učenja i čini teško kombinirati jedinstvene snage različitih izračunskih jedinica. Konsekventno, industrija nedostaje zrela, niskopotrošna arhitektura koja može lako i učinkovito podržati više ML razvojnih okvira.

Coral NPU arhitektura direktno rješava ovo tako što okrene tradicionalni dizajn čipova. Prioritet je postavljen na ML matricni motor nad skalarom izračunom, optimizirajući arhitekturu za AI od silicija i stvarajući platformu namijenjenu za efikasniju, na-uređajnu inferenciju. Kao potpuna, referentna arhitektura neuralnog procesorskog jedinice (NPU), Coral NPU pruža gradivne blokove za sljedeću generaciju energetski učinkovitih, ML-optimiziranih sistema na čipu (SoC). Arhitektura se temelji na skupu RISC-V ISA kompatibilnih arhitektonskih IP blokova i dizajnirana je za minimalnu potrošnju energije, čineći je idealnom za uvijek dostupno ambijentalno osjećanje. Bazni dizajn dostizne performanse u rasponu od 512 giga operacija po sekundi (GOPS) dok potrošnja energije iznosi samo nekoliko milivata, omogućujući moćnu na-uređajnu AI za edge uređaje, čula, AR naočale i pametne satove.

Jedinstven pogled na ekosistem Coral NPU, prikazuje krajnji stog za dizajnere SoC-a i ML razvijatelje. Otvorena i proširiva arhitektura temeljena na RISC-V daje dizajnerima SoC-a fleksibilnost da izmijene bazni dizajn ili ga koristi kao prekonfigurirani NPU. Coral NPU arhitektura uključuje sljedeće komponente:

– Skalarni jezgro: Laka, C-programabilna RISC-V frontend koja upravlja protokom podataka do pozadinskih jezgara, koristeći jednostavni “run-to-completion” model za ultra-low potrošnju energije i tradicionalne CPU funkcije.
– Jedinica vektorskog izvođenja: Robustni single instruction multiple data (SIMD) koprocesor kompatibilan s RISC-V Vector instruction set (RVV) v1.0, omogućujući sim

Zaključak

Coral NPU predstavlja revolucionarni korak u svijetu edge AI, pružajući razvijateljima i dizajnerima alatke i resurse potrebne za izgradnju sljedeće generacije privatnih, učinkovitih i moćnih AI uređaja. Sa svojim AI-first arhitekturom i otvorenim ekosistemom, Coral NPU postaje ključni igrač u budućnosti uvijek dostupne, osobne AI.

Česta pitanja

1. Koje su prednosti Coral NPU-a u odnosu na druge edge AI platforme?

Coral NPU se ističe svojim AI-first arhitekturom koja je optimizirana za efikasnu na-uređajnu inferenciju. Također, nudi otvoreni i proširivi ekosistem temeljen na RISC-V, pružajući dizajnerima fleksibilnost i mogućnost prilagodbe.

2. Može li Coral NPU raditi s postojećim ML modelima?

Da, Coral NPU je kompatibilan s većinom popularnih ML okvira, čineći ga kompatibilnim s većinom postojećih modela. Također, nudi alate za optimizaciju modela za njegovu arhitekturu.

3. Koliko je energetski učinkovit Coral NPU?

Coral NPU dostizne performanse u rasponu od 512 GOPS dok potrošnja energije iznosi samo nekoliko milivata, čineći ga idealnim za uvijek dostupne aplikacije na nosivim uređajima.

4. Može li Coral NPU raditi s drugim tipovima senzora?

Da, Coral NPU je dizajniran za rad s raznim tipovima senzora, omogućujući mu primjenu u različitim scenarijima ambijentalnog osjećanja i AI.

5. Gdje mogu pronaći više informacija o Coral NPU?

Sve informacije o Coral NPU možete pronaći na našoj službenoj web stranici i u našoj dokumentaciji. Također, možete posjetiti naše forumska zajednica za dodatnu podršku i razmjenu iskustava.