Pokud se vám zobrazí zdrojový kód PHP souboru, asi nemáte nainstalované nebo máte špatně zkonfigurované PHP...
Balíky, co jste nainstaloval, smažte.
V Synapticu dejte Akce -> Vybrat balíky podle účelu, a vyberte LAMP server. Tak by se vám měl nainstalovat a zkonfigurovat Apache, PHP i MySQL. Pak ještě nainstalujte balík phpmyadmin. Poté by již měl fungovat bez jakýchkoliv změn konfigurace.