Janssen nasceu numa família culta; o seu pai era músico e o seu avô materno era arquiteto. Na sua infância, Janssen sofreu um acidente que o deixou permanentemente coxo, tendo sido, assim, mantido em casa, sem nunca frequentar a escola. As dificuldades financeiras da família obrigaram-no a trabalhar numa idade muito precoce. Enquanto trabalhava para um banco, no período entre 1840 e 1848, dedicou-se a completar a sua educação formal, obtendo o grau de bacharel, com 25 anos.

Janssen estudou na Universidade de Paris e, em 1865, tornou-se professor de ciência geral na escola de arquitetura. Ele era um entusiasta observador de eclipses e, em 1868, descobriu como usar um espectroscópio para observar proeminências solares durante o dia, o que permitiu que se pudessem realizar muita mais observações desse tipo do que anteriormente, visto que tais fenómenos apenas eram observáveis durante poucos minutos, em eclipses solares totais.

Em 1870, quando Paris foi cercada durante a guerra franco-alemã, Janssen fugiu da cidade, cercada, em balão para poder observar uma eclipse solar total, em África. (Esforço que não resultou em nada, dado que o eclipse foi obscurecido por nuvens.) Em 1876, Janssen foi nomeado primeiro diretor do Observatório de Meudon, perto de Paris. Em 1893, utilizando observações do observatório meteorológico que havia estabelecido em Mont Blanc, provou que as linhas de oxigénio que aparecem no espectro solar eram causadas por oxigénio na atmosfera terrestre. Janssen foi o primeiro a utilizar rotineiramente fotografias para estudar o Sol e, em 1904, publicou o seu grande Atlas des photographies solaires, que continha mais de 6000 imagens solares. Uma das crateras da Lua foi nomeada em sua homenagem.