Oké, fussunk neki mégegyszer.
Az eredeti ígéret ugye az volt, hogy laikusok is fognak tudni programokat generálni, a programozók hatékonyságán meg javít. Vegyünk ebből vissza, szorítkozzunk csak arra, hogy az "LLM-et használó programozók hatékonyabban dolgoznak, mint az LLM-et nem használók". Emiatt elvileg az elmúlt fél évben a programozók többsége már LLM-mel támogatottan programozott.
Mutassatok nekem egy bármilyen metrikát, ami alátámasztja, hogy ez alatt az elmúlt fél év alatt megugrott volna a programozók teljesítménye! Bármi, de tényleg bármi szóba jöhet, ami képes alátámasztani azt, hogy valóban hatékonyabbak lettek a programozók az elmúlt fél évben az LLM által. Bármilyen mérés jöhet. Mert én akárhogy keresem, csak cáfolatokat találok, de biztos az én gugli-fum kevés.
Én ezeket találtam:
- Chamath Palihapitiya befektető elemzése: "I think the reason is obvious but we aren't allowed to talk about it. The reason is vibe coding is a joke."
- METR tanulmány megismétlése, azonos eredmény. Ezen az oldalon sok érdekes grafikon és tényadat található (kiemelés a szerzőtől) "It turns out, though, and I’ve collected a lot of data on this, it doesn’t just not work for me, it doesn’t work for anyone, and I’m going to prove that."
- MIT tanulmány az üzleti AI felhasználásról, az LLM támogatott üzleti projektek 95%-a bukta. Mit szépítsük, az kurva nagy arány. (Ez mondjuk nem csak szoftverfejlesztő cégeket nézett, hanem több szegmenst, ráadásul több szemszögből, átfogóan.)
Na meg ott van Andrej Karpathy korábban linkelt tweetje is, amiben ezt írja (kiemelés tőlem): "I tried to use claude/codex agents a few times but they just didn't work well enough at all and net unhelpful".