Také rozhodně doporučuji Matlab. Octave je sice dobrou náhradou, co se týče jednodušších výpočtů a simulací, ale pokud dojde "na dřeň" a potřebujete udělat něco výpočetně náročnějšího, je v mnohých případech Matlab několikanásobně rychlejší. Konkrétně u mých simulací byl stejný program v Matlabu cca 10x rychlejší, než v Octave. A při simulacích, které trvají Matlabu řádově minuty je to rozdíl více než podstatný.
Pokud jde jen o to "naučit se základy Matlabu" (nějaký takový předmět měla manželka kdysi na ČVUT), Octave bohatě stačí. Na diplomku či disertaci bych si ale řekl o studentskou licenci - za mých časů přišla na cca 100USD - to se v nějakém grantu snadno najde.