John Michael Montgomery se narodil do muzikantské rodiny. Jeho otec, Herold Montgomery, ho již v 5 letech zasvěcoval do krásy hudby country.
V 15 letech začal hrát v místní kapele a o 2 roky později, když se jeho rodiče rozvedli, John začal hrát v kapele se svým otcem a bratrem.
První úspěch zaznamenal, když vystupoval v Austin City Saloon v městě Lexington, stát Kentucky.
V roce 1991 podepsal nahrávací smlouvu s firmou Atlantis Records. Debutové album Life's Dance vyšlo v roce 1992 a získalo dobré ohlasy kritiků a velmi dobře se prodávalo.
Album vyprodukovalo i několik hitů, ale přelomovým se stalo až album z roku 1994 Kickin' it up, kde zazářila procítěná balada I Swear, se kterou se držel celý měsíc na špičce americké country hitparády. Album se dostalo na první místo v žebříčku Top Country Albums a velmi rychle se stalo multiplatinovým.
Zatím posledním albem, tohoto vynikajícího country zpěváka, je Letters Frome Home vydané roku 2004.