Já mám 4GB RAM a swap jsem před několika týdny zrušil úplně (předtím jsem měl 512 MB právě pro ten klid duše), jelikož takové věci jako VirtualBox používám dost málo a nepotřebuju mít u virtualizovaných strojů více než 1GB RAM, do toho se s přehledem vejdu.
Více než 1GB na swap u 4G RAM je úplně zbytečné. Samozřejmě pokud ho zrušíš úplně, tak u extrémně paměťově náročných aplikací si to musíš trošku hlídat, aby ti náhodou nevytuhl systém, ale u toho ti swap stejně moc nepomůže.