Amit fontos tudni, az az, hogy ez nem 'intelligencia'. Ez egy relative komplex machine learning, pl. llama3 eseten 8 vagy 70 milliard input parameterrel, 32 layerrel es borzalmas sok inputtal train-elve. Minden egyes kimenet egy token, ami egy szo(tag) egy mondatban. Az inputban persze szerepel a context, ahol az eddigi tarsalgas utolso parezer szava benne van; az utobbi par szo/mondat nagyobb sullyal esik latba persze.
Es akkor a szavakat igy egyesevel egymas moge rakja ez a bazinagy halozat.
De azt fontos megerteni, hogy ez nem intelligencia, hanem egy bazi bonyolult machine learning halozat. Ugyanaz. mint ami a csekkre irt szamjegyeket ismeri fel, csak 100 nagysagrenddel bonyolultabb, de ennyi. Csak ez arra van train-elve, hogy szavakat tegyen egymas moge. Ezert hasal el pl. szamolasi feladatokon, es ezert van a tobbi furcsasaga is.
Most dolgoznak ezerrel minden iranyba, hogy jobb legyen, de egyelore nem kell felni, hogy ontudatra ebredne vagy ilyesmi.
Es nem, bonyolult szamitasra, logikara nem kepes, mert szoveg generalasara van kihegyezve. Elkepzelheto persze egy matematikai feladatra kihegyezett transformer is, de akkor teljesen ujra kell gondolni, hogy szoveg tokenizalas mellett a matematikai kifejezeseket is tisztessegesen encode-eolja valahogy az input parameterekbe, meg sok-sok egyeb. Valoszinu, hogy dolgoznak ezen is mar valahol.