Branislav začal svou kariéru v týmu FK Srem, odkud si ho v roce 2003 vytáhl OFK Bělehrad. Zde vydržel tři roky a stěhoval se do Ruska, mladého talenta si totiž všimli v Lokomotivu Moskva. S tím v roce 2007 vyhrál Ruský pohár.

15. ledna 2008 mladý Srb přestoupil do Chelsea. O hráče měl mimo Blues zájem i Ajax, oba milánské kluby a Juventus Turín. Lokomotiv přestup označil jako největší v ruské fotbalové historii. Odstupné bylo podle Chelsea 9 milionů liber, ruská strana hlásila 9.7 milionů. Tak si vyberte.

Navzdory svému talentu však Ivanovič v sezóně 2007/08 nenastoupil k jedinému zápasu. Kouč Grant to obhajoval tím, že hráč není fyzicky připraven, jelikož ruská liga skončila ještě dříve, než přišel do Chelsea. Branislav si tak připsal alespoň několik startů za rezervu.

V letním přestupovém termínu byl spojovaný s odchodem do Juventusu, nakonec však zůstal. Nový kouč Scolari mu dal pár šancí v přípravných zápasech a na ligová utkání se již dívá z lavičky náhradníků. Věřme tedy, že jeho čas ještě přijde a stane se podobnou oporou, jakou je jeho krajan Nemanja Vidić v Man United.

V srbské reprezentaci prošel výběrem do 21 let, který dokonce vedl jako kapitán. Nyní je nepostradatelnou součástí seniorského týmu.