Nem feltétlen kell @media.
A minimum, ami kell, az egy viewport meta tag: https://css-tricks.com/snippets/html/responsive-meta-tag/
És persze úgy kell megírni a dolgokat, hogy kisebb szélességen is jól látszódjon. Egy példát mondok. Ha két oszlopban van a tartalom, akkor úgy rakd össze a div-eket, hogy legyen egy minimum szélességük, és ha nem férnek el egymás mellett, kerüljenek egymás alá. Ezt triviális megcsinálni, és ettől már reszponzív. Lásd: http://jsfiddle.net/zLponxc1/1/
@media akkor kell, ha szélességtől függően ettől drasztikusabban akarod átrendezni a tartalmat. Pl. egy menü desktopon ott van a lapon egy adott helyen teljes terjedelmében, telefonon viszont megjelenik egy gomb, és azt megnyomva a lap fölött jelenik meg a menü.