možná zase koukáte na celkové obsazení paměti, tedy první řádek. Vy potřebujete řádek druhý, bez rezervovaných částí pro cache:
throgun@rider:~$ free -m
total used free shared buffers cached
Mem: 503 495 7 0 46 138
-/+ buffers/cache: 310 193
Swap: 509 56 453
thorgun@rider:~$To, že si systém něco málo ukládá do swapu, i když není paměť úplně plná, také není neobvyklé.