Tölthető az openai/gpt-oss:120B és :20B verziója

Ma jelentették be, és helyből vLLM, Llama.cpp, és ollama támogatással rendelkezik. A hivatalos oldala: https://openai.com/open-models/ A  GPT-o4-mini teljesítményével összemérhető a reklám szerint.

A kisebb modell 13 GB-os, a nagyobb 65 GB-os GGUF-ként már tölthető is (tetű lassan). Ez a verziója kifejezetten lokális használatra van pozicionálva, meglátjuk, mit hoz a teszt :-) (Elérhető a HuggingFace-en, Github-on, és a https://gpt-oss.com oldalon lehet próbálkozni vele. Mind a letöltés, mind a tesztoldal kissé lassúcska.)

( DieHappy | 2025. 08. 05., k – 22:13 )

Fent van az ollama library-ben is: https://ollama.com/library/gpt-oss 

Én épp szabadságon vagyok, érdekelne ki mit tapasztal. Az nVidia szerint minden rtx támogatja az mxfp4-et, de gyanítom mindennek up-to-date-nek kell lennie hozzá. 

( SkyNET | 2025. 08. 05., k – 23:11 )

kifejezetten lokális használatra van pozicionálva

Kiváncsi leszek a lokális használatra, mert szerintem a 20B ami egy "átlag" beszerezhető RTX-en (16-24GB VRAM) egyáltalán szóba jöhet kvantálva 4 bitre és/vagy vLLM-el ... de ha FP16 akkor ez inkább 64-128 GB RAM és valami brutális M-es CPU ha mac, vagy ha nem mac, akkor meg GPU legalább 40 GB VRAM-al ami localhoston nem túl reális, ez inkább távoli bérelt kapacitások / cloud világ.