Rydberg era filho de Sven e Maria Anderson Rydberg e frequentou o ensino básico em Halmstad (Suécia). Rydberg formou-se na Universidade de Lund, tendo recebido o seu diploma de bacharelato em 1875 e do seu doutoramento, em matemática, em 1879, com uma dissertação sobre construção de cónicas. Tornou-se professor de física na mesma universidade onde se formou, em 1882, tendo-se tornado professor assistente no Instituto de Física, em 1892. Ficou agregado como professor dessa instituição de ensino desde 1901 até à sua reforma, em 1919. Foi eleito membro estrangeiro da Royal Society, em 1919.

Rydberg é mais conhecido pelos seus estudos teóricos das séries espectrais. Ao utilizar nos seus cálculos números de onda ao invés de comprimentos de onda, foi capaz de chegar a uma expressão relativamente simples que relaciona as diversas riscas nos espectros dos elementos químicos. A expressão continha um termo constante que se tornou conhecido como a constante de Rydberg. A sua principal obra, publicada em 1890, foi subordinada ao tema “Investigação sobre a constituição das emissões espectrais de elementos químicos”.