Azért nem megbízható, mert ez nem egy szakértői rendszer (aka. expert system). Ez egy nyelvi modell. Egy nagyon jó nyelvi modell, ami sajnos a laikusok számára képes elhitetni magáról, hogy szakértői rendszer, pedig nem az.
A célfüggvény nem az, hogy megbízható válaszokat adjon, hanem hogy hihető természetes nyelvi szöveget tudjon generálni és értelmezni.
Minden tényanyagot, amit tud a világról, azt kb a betanításához használt szöveg-korpuszból mintegy "mellékhatásként" szedte össze. Kicsit olyasmi ez, mint amikor ember idegen nyelvet tanul, akkor kénytelen az adott nyelvet beszélő ország kultúráját is megismerni, különben rengeteg rejtett kontextus nem lesz meg a szövegek megértéséhez.
Az, hogy tényanyagbeli kérdésekre többnyire "jó" választ ad, az csak annak köszönhető, hogy a betanításkor szándékosan megcímkézték a "megbízható"-nak tartott forrásokat (wikipedia, szakkönyvek, tudományos kiadványok) szemben az internetről összegereblyézett random szövegekkel. Ez utóbbi egyébként mennyiségben lényegesen többet tett ki, és könnyen elhúzhatta volna rossz helyesírás, rossz nyelvhelyesség valamint babonák és konteók irányába a tudásbázist.
Itt van (nem túl deepdive) egy leírás róla, hogy kb hogy is működik és hogyan tanították be: https://gist.github.com/veekaybee/6f8885e9906aa9c5408ebe5c7e870698