Karhan hrával za klub FC Spartak Trnava do roku 1998, kdy prestoupil do španielského Betisu Sevilla. Zde odehrál jednu sezónu, 33 zápasů. Po ní prestoupil do istanbulského klubu Beşiktaş J.K.
V roce 2001 až 2007 hrával za německý bundesligový klub VfL Wolfsburg. V létě 2007 podepsal dvojroční smlouvu s klubem 1. FSV Mainz 05.

V roku 2002 získal ocenění Fotbalista roku Slovenska. Karhan je schopný hrávat v obraně i v záloze.