Den version som är enklast att installera och som jag har testat finns här:
http://sourceforge.net/projects/octave
Man laddar ner "octave-forge-windows". Sedan kör man den bara och den installeras utan krångel.
Man kan editera med Notepad, men det är nog bättre att köra med en riktig editor, det finns en som heter SciTE som verkar vara ganska bra:
http://gnuwin.epfl.ch/apps/SciTE/en/index.html
/stig