Zeeman entrou na Universidade Leiden, em 1885, tornando-se aluno de Kamerlingh Onnes (1853 – 1926) – mecânica – e Lorentz – física experimental. Em 1890, Zeeman foi nomeado assistente de Lorentz, o que lhe permitiu começar a lecionar, apesar de só ter obtido o seu doutoramento em 1893. Três anos depois, por sugestão de Lorentz, Zeeman investigou o efeito de campos magnéticos numa fonte de radiação e descobriu que cada uma das linhas do espectro de emissão estava dividida num número impar de outras linhas mais pequenas, o que se tornou conhecido como o efeito Zeeman (clássico).

Em 1897, um ano após a sua grande descoberta, Zeeman foi chamado a lecionar na Universidade de Amesterdão, mas só foi nomeado professor de Física da universidade, em 1900. Em 1908, Johannes Diderik van der Waals (1837 – 1923), Prémio Nobel da Física de 1910, reformou-se e Zeeman foi escolhido como seu sucessor e diretor do Instituto de Física. Permaneceu lá até à sua morte, realizando investigações sobre a propagação da radiação em meios móveis, tais como água, quartzo e sílex.

Zeeman foi Doutor Honoris Causa das Universidades de Göttingen, Oxford, Filadélfia, Estrasburgo, Liège, Gent, Glasgow, Bruxelas e Paris. Foi também membro ou membro honorário de várias academias, entre as quais a Academia Real das Ciências de Amesterdão, incluindo a rara distinção de Associé Etranger da Académie des Sciences de Paris e presidente da Comissão Internacional de Pesos e Medidas, Paris.

Entre outras distinções, podem ser mencionadas a Medalha Rumford da Royal Society de Londres e o Wilde Prix da Académie des Sciences de Paris. Em 1902, foi agraciado, juntamente com Lorentz, com o Prémio Nobel da Física. Durante o último ano da cátedra de Zeeman, acometido por vários problemas de saúde, tendo acabado por morrer em 9 de outubro de 1943.