AI teljesítménymérő alkalmazás

Amióta egyáltalán játszok a különböző LLM-ekkel és a localAI-val, azóta szeretnék valamiféle performanciatesztet végezni, hogy legalább elvben legyen valamiféle összehasonlítási lehetőségem a különböző eszközök "tempóérzetén" kívül.

Az általam eddig nézett AI-eszközök mind az LLM-ek futtatására vannak kihegyezve: ollama, llama-cpp, whisper.cpp, llamafile és utoljára a koboldcpp - ezek ugyanis vannak FreeBSD-n portsban / csomagként is, így aztán viszonylag könnyen elérhetőek egy kipróbálás erejéig. (OK, a whisper.cpp és a llamafile egyelőre nincs portolva. Viszont ez utóbbi pont egy olyan formátum, amely egyazon binárisban (!) támogatja az AMD64-es és ARM64-es gépeken futó Windows, Linux, FreeBSD, NetBSD, OpenBSD (*) és macOS rendszereket (!) - azaz 2 HW-architektúrán 6 db. OS-t -, szóval itt se kellett fordítgatnom semmit, elég volt letöltenem a githubon fent levő toolt.) Sajnos semelyik eszköz esetén nem éreztem azt, hogy ezzel végre én tudnék valahogy összehasonlíthatóan mérni.

Egészen a llamafile-ig.

Ebben ugyanis végre sikerült találnom egy ilyen eszközt. A llamafile lényege, hogy az egyébként a llama-cpp-re épülő eszköznél egyetlen futtatható "önkicsomagoló" ZIP-fájlba csomagolnak bele minden vackot, azaz a futtatókörnyezetet és a feladat szempontjának megfelelően kiválasztott LLM-et, és egyben lehet terjeszteni. (Meg pl. rendesen scriptelni, ha kell.) És ahogy tanulmányoztam a futtatható által elfogadhatónak minősülő parancssori paramétereket, szembe jött ez: --localscore (több helyen --bench szerepel, az nekem a legutolsó letölthető verzióval nem működik). És amikor rákerestem, azt találtam, hogy ez pont az ami nekem kell. Nem tökéletes, pl. nem raktak bele Vulkan (vagy bármi egyéb módon Intel GPU) támogatást, így akinek csak Intel videolassítója van a gépben, az csak CPU-n tud vele LLM-et futtatni (vagy tesztelni). (Az ollama és a gyári llama-cpp is tudja használni ezeket.)

Úgyhogy azóta szépen sorban megyek végig a gépeken, és mérek. Mert csak. (A nem túl acélos eredmények amúgy elérhetők a localscore.ai oldalon :-))

Simán lehet, hogy valamelyik egyéb eszköznek is van ilyen célra megfelelő paraméterezése - nem sikerült megtalálnom.

Amúgy a llamafile a kb. 2 évvel ezelőtti indulás óta szépen fejlődik, most már a whisper.cpp is bele van integrálva, sőt ahogy látom a Stable Diffusion is :-)

(*) valaki akinek éppen van működő, megnézhetné, hogy mi a helyzet a DragonFlyBSD-vel nem-hivatalos támogatásilag ...