Hertz nasceu numa família próspera e culta (o seu pai era advogado e, mais tarde, senador). Depois de realizar os exames do ensino secundário, em 1875, foi para Frankfurt para preparar uma carreira na engenharia. Depois de um curto período, em 1876, no Instituto Politécnico de Dresden, Hertz mudou-se para Munique, para matricular-se no Instituto de Tecnologia. No entanto, paralelamente, estudou matemática e ciências naturais puras. Assim, com a aprovação do seu pai, Hertz acabou por se matricular na Universidade de Munique, seguindo uma carreira académica, ao invés de uma carreira mais técnica.

Depois de um ano em Munique, Hertz ansiava poder viajar e continuar os seus estudos noutro local. Acabou por escolher a cidade de Berlim, em detrimento de Leipzig e Bonn, decisão que lhe valeu o encontro com Hermann von Helmholtz (1821 – 1894), que teria profunda influência sobre ele ao longo da sua carreira. Imediatamente após chegar a Berlim, em 1878, Hertz foi introduzido no círculo de interesses de Helmholtz; aí tomou conhecimento de um anúncio de um prémio, oferecido pela Faculdade de Filosofia de Berlim, para quem obtivesse a solução de um problema experimental sobre a inércia elétrica. Embora Hertz tivesse apenas um ano de instrução universitária, ele queria iniciar-se na investigação original e tentar atingir o prémio. Helmholtz, que havia proposto o problema e tinha grande interesse na sua solução, forneceu a Hertz uma sala no seu Instituto de Física, dando atenção diária ao seu progresso. Embrenhado na sua investigação, Hertz ganhou o prémio, em 1879, tendo sido galardoado com uma medalha, uma primeira publicação na Annalen der Physik, em 1880, e o profundo respeito de Helmholtz.

Hertz obteve o seu doutoramento na Universidade de Berlim, em 1880, e, em 1883, iniciou os seus estudos sobre a teoria eletromagnética de James Clerk Maxwell (1831 – 1879). Entre os anos 1885 e 1889, enquanto professor de física na Escola Politécnica de Karlsruhe (Alemanha), Hertz produziu ondas eletromagnéticas em laboratório e mediu o seu comprimento de onda e velocidade. Mostrou que a natureza da sua vibração e da sua suscetibilidade à reflexão e refração eram as mesmas que as da radiação luminosa e térmica. Como resultado, Hertz estabeleceu, para lá de qualquer dúvida, que a luz e a radiação térmica são, ambas, radiações eletromagnéticas e, também, confirmou a natureza transversal das ondas eletromagnéticas, conforme Michael Faraday (1791 – 1867) e Maxwell haviam previsto. Em 1889, Hertz foi nomeado professor de física da Universidade de Bonn, onde continuou as suas investigações sobre a descarga de eletricidade em gases rarefeitos, tendo sido um dos primeiros a detetar o efeito fotoelétrico.

Na primavera de 1891, Hertz começou a investigação que o ocuparia, quase exclusivamente, até à sua morte: um estudo puramente teórico dos princípios da mecânica inspirados novo trabalho de Helmholtz sobre o princípio da ação mínima. Os seus trabalhos científicos foram traduzidos para inglês e publicados em três volumes: Ondas Elétricas (1893), Artigos Diversos (1896) e Princípios de Mecânica (1899). Em sua homenagem, a unidade (SI) de frequência (número de ciclos por segundo) de qualquer fenómeno periódico é designada por hertz (Hz). O seu sobrinho Gustav Ludwig Hertz (1887 – 1975) viria a receber o Prémio Nobel da Física (1925).