Első ránézés llama.cpp rpc

Szereztem egy RTX 3090 -et a másodlagos számítógépembe, hogy ki ne maradjak a legújabb tetris örületből :-)
Ill kiprobáltam llama-rpc -t.

Elsődleges számítógépben egy 16GB Radeon 6900xt és tudnak együtt dolgozni.

KB 200Mbit sávszélességet használ ami még gigbit etherneten is megéri CPU(+desktop memória) használata helyett.
40GbE (effective 25GbE mivel 4x gen3 PCIe ) lanet használ, egy desktop nincs megáldva sok PCIe lene-el.
Per token network miatti késleltetés igy <<1ms szemben >>10ms el.
Modell workerre tétele is sávszél igényes, gigabit-en egy örökkévalóság.

RTX 3090 elég jó árban van memória sávszélleséghez mérve,
de a VRAM nagyon melegszik. Érdemes power limitálni  200~250~280W -ra,
250W felett token/Joule roszabbul mutat, valamint a ventik sem mennek annyit.
Megpróbálom majd kicserélni a padeket a hátsó VRAM -on, hátha segít.

~15 t/s 27B(q8)~32B(q6) modellel,
mivel más is fut amit most nem akkarok lelőni, ez nem a végső szám.