Narodil se v Asmaře ve státě Eritrea. Po studiu na italské univerzitě se v roce 1985 přestěhoval do New Yorku, kde absolvoval na Newyorské filmové škole. Následovala cesta do Indie, kde produkoval a režíroval svůj první dokumentární film Boatman (1993), který se s úspěchem promítal na řadě mezinárodních festivalů a získal Velkou cenu poroty za nejlepší dokumentární film na festivalu v Sundance 1994. V roce 2008 vyhrál jeho film Pod úrovní moře (Below Sea Level) cenu Orizzonti Award na filmovém festivalu v Benátkách a další ocenění včetně ceny za nejlepší dokument na pražském festivalu Jeden svět
a nominace na nejlepší dokument na Evropských filmových cenách 2009. V roce 2010 natočil Nájemný vrah - Pokoj 164 (El Sicario – Room 164), filmový rozhovor o vrahovi, který se stal policejním informátorem. Film získal řadu cen, například na filmovém festivalu v Benátkách, cenu za nejlepší dokument na festivalech DocLisboa a Doc Aviv.

V roce 2013 vznikl film podle předlohy spisovatele Itala Calvina Neviditelná města film Sacro GRA, za nějž Rosi získal jako vůbec první dokumentární tvůrce Zlatého lva v Benátkách. Film představuje nevšedním způsobem italskou metropoli Řím - skrze autentické příběhy obyčejných lidí žijících na okraji největší dopravní tepny Itálie, Grande Raccordo Anular (GRA).