Egyre nehezebb lesz a kódolási plágium felismerése

HUP

Elkezdhetnek aggódni az egyetemi oktatók és az informatikusok fejvadászai, mert már a programozási feladatok sem feltétlen bizonyítják a jelölt tudását. Az egyszerűbb kérdésekre algoritmikusan generálható a plágiumszűrőket átverő kód.

Egy újonnan megjelent tanulmány bemutatja, hogy a neurális háló alapú nyelvi modellek már olyan hatékonyan tudnak belépő szintű programozói feladatokat elvégezni, hogy azt a kódolási plágium felismerésére szakosodott eszközök sem tudják kiszűrni. A publikáció szerzői, Stella Biderma és Edward Raff, mindketten a Booz Allen Hamilton IT tanácsadócég szakértői és az EleutherAI nyílt forrású mesterséges intelligencia projekt kutatói, jelenlegi kísérletükben a GPT-J nyelvi modellt használták a hipotézisüket alátámasztó kód előállításához. A modellt egyáltalán nem tanították be a feladatok megoldására, és példát sem adtak a munka elvégzéséhez.

A teljes írás itt olvasható.

( KoGa v | 2022. 02. 03., cs – 07:54 )

Az ember alapszintű programozói feladatot nem tud megoldani, de ugyanezt AI-val le tudja generáltatni. Reális lehetőségnek érzem :D

Inkább rákeres, hogy "devskiller coding challenge" és az első szponzorált találat egy devskillerchallengesolver.dev lesz, ahol x USD és egy invite link beillesztése után kimaxolják a tesztedet, természetesen pár apró emberi hibát is vétve, talán kapsz egy report-ot is, hogy mire készülj ha belekérdeznének és máris jó esélyekkel indulsz, amíg nem mindenki kezdi el használni ezt a szolgáltatást.

Alternatív javaslat: Azokra a munkakörökre, ahol egy AI is sikeresen abszolválja az interjút vegyük fel az AI-t.

Ez akkor jó, ha hivatásos álláskeresõ vagy. Igazából ezekkel a kis kódolásos tesztekkel amúgy is ezeket lehet megtalálni. Nem az a lényeg hogy meg tudj oldani egy feladatot, hanem hogy ilyen pici kódokat gyorsan meg tudj írni. Ha meg egyszer felvettek vele egy nagyobb projektre, ott úgy is eltelik úgy három hónap mire komplexebb feladatot kapsz, addigra pedig már meg lesz a következõ helyed 100 ezer forinttal többért mint itt.

( bogyo | 2022. 02. 03., cs – 08:01 )

Ez lesz, amikor olyanoknak kell véleményt alkotni a fejlesztő tudásáról, akik erre nem képesek.  Egy fejlesztő meg tudja ítélni a másik fejlesztő tudását enélkül is.  Ahogy az egyetemi oktatók is fel tudják mérni, hogy a hallgató puskázott a vizsgán (~ plágium) vagy tényleg saját tudással rendelkezik.

És ha ez sem megy, még mindig ott a próbaidő.

Ha ott sem derül ki, akkor meg minden rendben, pontosan illeszkedik a kolléga a cégkultúrába. :-D

Bogyó

Gond azoknál a cégeknél van, ahol egyszerre akarnak borzasztóan sok embert felvenni. Voltam már ilyen helyen, ahol kb 5-6 év folyamatos hiring freeze után hirtelen akartak 100+ embert felvenni. Ilyenkor egyrészt botrányosan híg lesz a merítés, másrészt rettentően nagyüzemi módszerekkel lehet csak tesztelni a jelölteket. Ne tudd meg személyes interjún milyen emberekkel találkoztam, annak ellenére, hogy az első körön ők érték el a legjobb pontszámot...

Külön történet India, ahol helyi divat ún "pool"-ba felvenni az embereket. Gyakorlatilag 100-120 olyan ember van felvéve a céghez akik nincsenek projekthez rendelve, lényegében belső trainingeket csinálnak, hogy ne csak a lábukat lógassák. A helyi managementnek ez kényelmes, mert ha valahova kell fejlesztő, akkor leveszik a soron következőt a pool-ból, nincs várakozási idő, nem kell headcount approval, nem akkor kell elkezdeni embereket felhajtani. Na sejtheted, hogy ők milyen alapossággal vannak interjúztatva... Ja és persze a poolba már felvett embert az adott fejlesztőcsapatnak már nem illik mégegyszer "belső interjúztatni".

Régóta vágyok én, az androidok mezonkincsére már!

Ennek a másik fele, ami engem kiborított. Egy telekommunikációval foglalkozó multinál pályáztam egy pozit. Mielőtt bármi konkrét beszélgetés lett volna, megkértek, hogy töltsem ki a

  • Személyiség tesztet (~1 óra)
  • A kódolási tesztet (~2 óra)
  • A speciális technológiai teszteket pl.: Docker (~1óra)

Én tegyek az életemből, a szabadidőmből a cég processzébe 4 órát, mag a HR egy 20 perces beszélgetést nem tud megejteni. Habár nem plagizáltam, de ilyen hozzállás mellett (én 4 órát dolgozom, ők 0-t) akár meg is érdemelték volna.

 

A másik véglet egy, autóipari multi, hogy kb 10 perc alatt megoldható feladatot adtak, egy hét határidővel. A feladat annyira egyszerű volt, hogy igazság szerint 0 embert szűrt ki.

Vissza kellett olvasnom, hogy en leirtam-e, hogy telekom-os cegrol van szo. Komolyan gondolkodtam, hogy nem ugyanarrol a cegrol beszelunk-e. Mondjuk nalunk csinaltattak IQ tesztet is jelentkezokkel (nem volt IQ-ra kiertekelve, de a feladatok pont olyanok voltak), plusz akkoriban a docker meg nem volt tema.

Mikor anno en mentem oda, nem csinaltak ezeket a fassagokat. De szemelyes interjun szivattak vagy 3 orat engem is. C, C++, Java programozas, Linux/Unix sysadmin doglok, kernel mukodese, rendszerhivasok, linkeles, shell scripteles, buildeles stb. C++-szal kulonosen sokat tokoltunk (full nem voltam ra felkeszulve - azt hittem, hogy viszlat lesz), majd a vegen megtudtam, hogy 1) az interjuztato is elotte nezte meg, mi a helyes valasz a kerdesekre 2) az egesz csoport nem foglalkozik C, C++ fejlesztessel, full Java-s projektre jovok. :)

Régóta vágyok én, az androidok mezonkincsére már!

( gelei v | 2022. 02. 03., cs – 10:03 )

Nem értem a problémát. A coding exercise nem a fióknak készül, hanem elő kell venni interjún, és átbeszélni, hogy mi miért van úgy, mit lehetne máshogy, stb. Ott nem derül ki, ha a jelölt nem érti a feladatot?

Ha jól értem, akkor ez inkább az automatizáció elévülését jelenti, amit mostanában a Leetcode/HackerRank/Codility nyújtott. Ez inkább csak egy nulladik körös előszűrés amit kb 20 EUR / db ellenében ki lehet küldeni és instant ki lehet értékelni programozó/technikai személy bevonása nélkül.

( pink v | 2022. 02. 03., cs – 10:04 )

Nem történik más, mint optimalizálnak a jelentkezők a rendszer kritériumaira.

Ezzel együtt azt gondolom, mindkét fél érdeke, hogy a megfelelő ember a megfelelő helyre kerüljön. A win-win szitu a későbbi jó munkakapcsolat alapja.

( dyra | 2022. 02. 03., cs – 19:39 )

:D még a végén én is lehetek programozó :D Elmondom egy gépnek milyen programot akarok az meg megírja :D

( the_manni | 2022. 02. 03., cs – 22:56 )

Mindig menöznek ezekkel a mesterséges intelligenciákkal, de az átlagtapasztalat az, hogy egy értelmes mondatot nem bírnak velük kigeneráltatni. Ha valaki mégis hasznosan tud használni ilyesmit pl egy for ciklus kigenerálásához, az meg abszolút jó pont egy interjún, szerintem.

( turul16 v | 2022. 02. 07., h – 08:57 )

Szerkesztve: 2022. 02. 08., k – 09:53

Legtobb pont egyebkent is annak jart aki kritizalta feleadat kiirast ;-)
Legtobb jelentkezo egyebkent meg olyan valaszt general ami mar az erdemi resz megnezese elott sem lesz atmeno.

Amit nem lehet megirni assemblyben, azt nem lehet megirni.

( pink v | 2022. 02. 08., k – 09:21 )

Hozzá lehetne tenni, hogy a stackoverflow copy-paste kódolásra az igényt is a cégek hívták életre. Nem magától és nem ok nélkül jelent meg ez a réteg. Sok helyre eleve nem is a régi értelemben vett programozókat keresnek, hanem pont elég, ha valaki így-úgy összelapátol valami működőt. Illetve ez a réteg is tagozódik: az értelmesebbjének van annyi esze, hogy a paste-elt kódot iránymutatásnak tekinti és felpimpeli a szükséges mértékben (akár egy Intel vagy Atmel datasheet-ből merített példakódot), esetleg csak ötleteket merít belőle és maga újraimplementálja az adott kontextushoz passzolóan.