Martin měl k hudbě blízko od útlého věku, ale naplno se jí věnuje od roku 2012. Začínal jako hráč na klávesy ve školní kapele mostecké ZUŠ, později začal doprovázet pěvecký sbor a postupně si začal osahávat hru na klavír. Je převážně samouk, ale v začátcích ho formoval mostecký rodák Richard Řeřicha. Věnuje se především jazzu, klasickému rocku, popu a filmové hudbě. Jeho styl ovlivnil Jon Lord z Deep Purple a Matej Benko. V současné době studuje obor jazz na VOŠ Jaroslava Ježka v Praze pod vedením Víta Křišťana.

V roce 2018 natočil pod Warner Music Group desku Zapomenutý příběh s Ondřejem Rumlem, Bolkem Polívkou a dalšími hudebníky. Působí také v projektu Ondřej Ruml zpívá Ježka, Voskovce a Wericha jako druhý pianista. Ve stejný rok založil vlastní skupinu Martin Rufer Quartet. Martin také spolupracoval např. s Vladimírem Hronem, Michalem Horáčkem, Ilonou Csákovou, Bohušem Matušem a dalšími osobnostmi české scény populární hudby. V současné době také působí jako klavírista v Big Bandu VOŠ Jaroslava Ježka pod vedením Milana Svobody a jako host Bohemia Big Bandu pod vedením Bohuslava Volfa. Mezi lety 2016 a 2019 působil v Big Bandu Zdenka Tölga. Je také hudebním lektorem na letních táborech.

Je držitelem několika ocenění za korepetici a sborové aranže v tuzemských soutěžích. V roce 2016 získal titul vicemistra v celostátní soutěži hráčů na elektronické klávesy. Skladatel a šéfdirigent Hudby Hradní Stráže a Policie ČR Jan Zástěra o Martinovi v roce 2017 prohlásil, že ho považuje za jednoho z nejvýraznějších hudebníků své generace. V roce 2019 byl o Ruferovi natočen medailon v rámci oslav 50 let existence mostecké ZUŠ. Při této příležitosti také předvedl koncertní recitál.