Rég nem Asterisk-eztem már, de a sip.conf-ban nézelődj a jitterbuffer környékén.
Például:
jbeanble=yes
jbimpl=adaptive
Legrosszabb esetben próbáld meg felhúzni a jitterbuffer-t manuálisan 150-250ms környékére. Lesz benne egy minimális késleltetés, de talán nem fog csúszni a hang.
Konstans 3G-d van, vagy néha átvált 2G-re?