Játék program automatizált gombnyomogatása, gombfelismeréssel, scripteléssel

Helló!

Arra keresek valamilyen open source  / ingyenes megoldást, hogy például egy böngészőben futó játékban mivel lehet megoldani, hogy a szoftver érzékelje a gombot, azaz én meg tudom adni, hogy néz ki, amit keresni kell, és megnyomja, majd utána hogy mikor mire kattintson, időzítve, scriptelve, akár programozva. Túlzásnak érzem, hogy egy AI megértse az egészet és úgy nyomogassa, de csak van ennél egyszerűbb megoldás.

Van sok billentyűzet és egér macro rögzítő program, azokkal az a baj, ha a képernyőn véletlenszerű helyen lehet, amit meg kell nyomni, akkor oda nyom ahol nincs a gomb, és nem működik. 

Töltöttem fel példa gombokat, amiket meg kellene nyomni: https://imgur.com/a/RvdIsq5

Arra gondoltam, hogy amit meg kell nyomni, azt a gombot mint kép lementem, és a programban beállítom, ha azt látja a képen, nyomja meg. A megadott alkalommal megkeresi ezt vagy azt a gombot, ezt vagy azt a gombot megnyomja, egérrel ide vagy oda klikkel, és ha lefutott akkor kész. Mivel lehetséges ez?

Jó lenne még szám felismerés, hogy ki tudjon bizonyos értéket olvasni, és annak fügvgényében tenni valamit.

Az is jó, ha Linuxon fut, jobb lenne Windowson, virtuális gépben is mehet, csak működjön.

Selenium tudhat ilyet? Azt tudom róla, hogy a HTML-en belül nagyon jó submit gombok megnyomásában, de ha valami grafikus (nem háromdimenziós), akkor ott nem tudja megkeresni. Vagy igen?

Főként egy fogadásról szól, egy haverom szerint ilyet nem lehet megoldani ingyenes megoldással, csak ha én megírom, vagy ha fizetek különböző komolyabb havi díjas játék tesztelő szoftverért, ő keresett ilyet. Utána nézés nélkül én viszont arra fogadtam, hogy van ilyen, szóval nagy rajtam a nyomás, hogy legyen ilyen! :)

Hozzászólások

Szerkesztve: 2022. 01. 15., szo – 09:32

Én hasonló problémát (bár ennél bonyolultabb és konkrétabb volt, mert egy másik eszközön futtott az app, amit irányítani kellett) python scriptel oldottam meg.

A képet leszedtem vnc-vel (vncdotool)

Cv-vel megtaláltam, hol a képen a widget amit nyomogatni kell (template matching néven keresd)

És odakattintottam szintén vnc-vel.

Annyival egyszerubb volt, hogy vnc lib miatt nem kellett rendszerszinten screenshotolnom meg egerpotyogest emulalni. A Python CV kombóhoz meg ezt az oldalt ajánlom, nagyon jó: https://www.pyimagesearch.com

“The trouble with having an open mind, of course, is that people will insist on coming along and trying to put things in it.”

Én az AutoIt-et használtam ilyesmire: https://www.autoitscript.com/site/

Ezzel írtam EVE Online-hoz bányászó scriptet, ami kivitte az űrhajót az aszteroida mezőre, bányászott, azt visszavitte, lepakolta, majd ment ki újra :)
De WoW-hoz is írtam vele horgászó scriptet, ami bedobta a csalit, és az úszó elmozdulására érzékelte hogy kapás van, és kifogta a halat. 

Szóval egész komplex dolgokat is össze lehet vele hozni. 

Sajnos megmondani nem tudom. Ilyen-olyan keresgélések során akadtam rá és félretettem, hátha valamikor hasznát veszem. Ha jól tudom Orbánék online kérdőíveit is ilyesmi segítségével töltögették.

Minden hulla a Mount Everesten valamikor egy nagyon motivált ember volt.