Raspberry Pi AI HAT+ 2: generatív AI Raspberry Pi 5-ön

Hardver

Megérkezett a Raspberry Pi AI HAT+ 2, amely a Raspberry Pi 5-höz ad helyben futtatható generatív AI funkciót. A kártya egy Hailo-10H gyorsítóra épül (40 TOPS) és saját memóriát használ, így kisebb LLM-ek (1–1,5B paraméter) hálózat nélkül futtathatók.
Induláskor több ilyen modell telepíthető (chat, instruct, kódolás), tehát alapszintű asszisztensre, kódgenerálásra, szöveg-átalakításra és edge AI feladatokra jó. Nem nagy nyelvi modellek kiváltására való, hanem gyors, olcsó, privát, célfeladatos használatra Pi-n.

Az ára kb. 130 USD, és már elérhető.

  

Bejelentés itt.

( prwnd | 2026. 01. 15., cs – 13:21 )

Azon gondolkozok, hogyha lenne időm, be kéne ezt fogni smart home hubnak. Most ha stairway lightot mondok stair helyett, már nem működik. De egy local LLM felismerné, hogy mire akartam gondolni, és tuti jobban működne.

Éjszaka, mikor a család alszik, úgy közlekedsz, hogy közben beszélsz? Erre egyszerűbb egy mozgásérzékelő, nem AI-val felturbózott HA, vagy más smart hub. Arról nem is beszélve, amilyen szar alvó az asszony, ki is baszna, mint macskát szarni, ha éjszaka dumálgatva közlekednék, mindenkit felébresztve.

( prion | 2026. 01. 15., cs – 14:39 )

Simán értelmes lehet szerintem privát ötletekkel, sok évnyi jegyzetekkel stb való chatelésre.

( Caro | 2026. 01. 15., cs – 19:47 )

Na ennek aztán nem sok értelme van. 40 TOPS nem is rossz, de 8 giga ram? Ehh...

Akkor inkább már CPU based egy asztali gépen, sok-sok giga RAM-al. Majd reggelre lefut :)

Azért nem olyan olcsó ez a Raspberry5-el AI-t tanulósdi, ha összeadjuk az alaplap + kiegészítők + kalapok árát! Főleg h. ebből a Rpi5-ból nem elég az új csóró edition (1GB RAM brrr), sem a 2GB-os, még a 4GB-os sem igazán. Kell a 8gigás, neadjisten a 16GB-os ami már önmagában elég szép summa.

( SkyNET | 2026. 01. 15., cs – 21:31 )

gépi látás feladatokhoz pl yolo objektum detektálás, egész jónak tűnik. Ház körüli megfigyelőrendszer, pl. embert detektál akkor rögzít, állatnál nem stb  

Ultralitics api/pytorch-al létrehozol, feltanítasz egy pretrained yolo modellt saját igényeidre egy nvidia gpu-s pc-n, nem kell hozzá számítóközponti kapacitás, ez nem llm. Exportálod onnx formtáumba, mert ahhoz biztosan lesz valami tool amivel erre a hailo chip alapú runtimra rá lehet konvertálni/betölteni. Ezt a kínai smart kamerával ezt meg tudod megcsinálni?

Én nem. De azt sem, amit felvázoltál PC-n :P Mindenesetre értem a logikádat. Viszont nekem szerintem nem érné meg a betolt időt, pénzt, energiát, ha készen van rá cél HW, SW egy Dahua kamerában, egyéb ficsőrökkel. Nem tudom. Megnéznék azért egy ilyen projektet, mit lehet belőle kihozni. Mivel jobb a detektálási valószínűsége.

( cajos | 2026. 01. 16., p – 14:49 )

Én az RPi 5 alapú LLM futtatást elengedtem. Helyette beneveztem egy Orion O6 kínai "pc"-re. A vas viszonylag erős. Én a 32 GB-os alaplapot vettem. Van egy PCIe slot is, ha kellene erősebb GPU támogatás. llama.cpp-vel GPT OSS 20b kb 5 token/sec sebességgel megy. Nem gyors, de nem reménytelen.

Kinem nem inge, ne vegye gatyára