A GPS az egy idealizált gömb, így eleve pontos sose lesz (kb. olyan, mintha egy focilabda közepébe beleraknál egy krumplit, és a krumpli felületére rárajzolnád az épp oda eső ötszögű foltokat), ráadásul ott van még a kamera torzítása is.
De ha már úgyis torzítunk, akkor találd meg a képen a vízszintet.
Ha tényleg ismersz pár tereptárgyat, csinálj belőle valami nagyfelbontású mercator-t (31 bit unsigned integer amit mi szoktunk mondani neked lehet kevés lesz, de egy double megteszi), mert akkor már rögtön síkkordinátád van. itt az én mercator libem, de a net teli van ilyenekkel, OSM-ben, Google Mapsben, Leafletben ugyanez van.
Ebből kell neked olyan 4, de minimum 3, ezek ki fognak feszíteni valami torz négyszöget, és ezen belül már tudsz lineáris interpolációkat meg extrapolációkat készíteni.
Összehasonlításképp nézd meg, amikor a Google SketchUp (ill. most valaki megvette, de mind1, sz'al a Sketchup)-ba azt mondod, hogy akkor most képimport, és 3d, akkor milyen torz alaphálókat kapsz.