Opel se narodil v Rüsselsheimu. Stejně jako jeho bratři Georg a Wilhelm se vyučil zámečníkem v dílně svého otce. V mládí cestoval po Evropě, v Paříži pracoval v továrně na výrobu šicích strojů, které byly tehdy velkou novinkou. Po návratu v roce 1862 založil v Rüsselsheimu vlastní továrnu na výrobu šicích strojů.

V roce 1868 se jeho ženou stala Sophie Marie Scheller. Spolu měli pět dětí: Carla, Wilhelma, Heinricha, Friedricha a Ludwiga. Všichni se časem zapojili do vzkvétajícího rodinného podniku. V roce 1884 firma rozšířila výrobu o jízdní kola, nejprve jen z dovážených dílů, za rok už své vlastní konstrukce. Za dva roky byla firma Opel jedním z největších výrobců bicyklů v Německu.

Opel zemřel v roce 1895 (na následky tyfu), v té době byla jím založená společnost vedoucím výrobcem šicích strojů v Evropě a vyráběla ročně přes 18 000 šicích strojů a 2 000 kol. Sophie Opel společně se syny převzala vedení firmy. O tři roky později začala firma rodiny Opel s výrobou automobilů.