Odchovanec jihočeského hokeje Milan Kostourek začínal v Českých Budějovicích, kde prošel všemi mládežnickými kategoriemi. Protože prokazoval střelecké schopnosti na vysoké úrovni, dostal už v necelých 18-ti letech v sezoně 2000/2001 šanci v nejvyšší soutěži, kde odehrál jediné utkání. V dospělé kategorii poté vystřídal dresy Tábora a Jindřichova Hradce.

Jeho první angažmá mimo oblast proslulou rybníkářstvím ho v sezoně 2003/2004 poprvé zavedlo do Chomutova. První gól v bílomodrém dresu zaznamenal Milan Kostourek 8. října 2003 na ledě Komety Brno. Hráč i vedení si hostování pochvalovali. „Je to tu dobré. Trenéři jsou super, točí to podle toho, jak kdo hraje. Je jedno kdo sedí, záleží na výkonech. Trenéři v Chomutově to je paráda,” zářil spokojeností mladý útočník, který se na konec sezony přesunul zpět do Českých Budějovic.

V následujícím ročníku podepsal smlouvu v ambiciózní Mladé Boleslavi, která mu však nebyla místem zaslíbeným. Možností ukázat, co v něm je, dostával pomálu a dokonce jej trenéři odeslali na výpomoc do druholigových Benátek nad Jizerou. „Každý dělá chyby,” hodnotil svůj krok na konci září 2004 po prvním střetnutí, v němž se na ČEZ stadionu představil jako hráč hostujícího celku.