Dovolím odhadnout, že je to tím, že data jsou před odesíláním šifrována, což si prostě určitý čas vezme.
Dalo by se to řešit pomocí vynucení méně náročného šifrování tj. asi takto:
sftp -1 -oCipher=blowfish-cbc 192.168.1.1
Ale pomalejší to asi bude vždycky.