Ohm foi o mais velho dos sete filhos de Johann Wolfgang Ohm, mestre de mecânica e ávido leitor de livros de filosofia e matemática. Devido a dificuldades financeiras, Ohm teve que deixar a Universidade de Erlangen, em 1806, depois de três semestres. No ano e meio seguinte, trabalhou como tutor privado na Suíça mas, em 1809, estabeleceu-se em Neuchâtel para, particularmente, continuar os seus estudos universitários. Em 1811, retornou a Erlangen e conseguiu obter o seu doutoramento. Nos três semestres seguintes, Ohm ensinou matemática na Universidade de Erlangen, porém, devido ao seu baixo salário, teve que assumir o cargo de tutor na escola secundária de Bamberg.

Depois de ter publicado o seu primeiro livro (sobre geometria), em 1817, recebeu uma nomeação como professor de matemática e física em Colónia, Alemanha. O laboratório da escola jesuíta local foi colocado à disposição de Ohm e foi lá que começou as suas investigações sobre as características dos circuitos elétricos, uma área praticamente inexplorada na época.

Em 1825, Ohm conseguiu publicar a sua primeira comunicação sobre as leis dos circuitos elétricos no Journal für Chemie und Physik. Em 1826, Ohm publicou novamente sobre a temática e observou que a forma da sua lei não só concordava com todas as experiências, mas também incorporava uma explicação para uma ampla gama de fenómenos dos circuitos elétricos. Por isso, Ohm argumentou que a sua lei deveria ser uma verdadeira lei da Natureza.

Em 1827, Ohm publicou a sua obra mais célebre, The Galvanic Circuit Mathematically Treated. Seguidamente, Ohm retirou-se do mundo académico por 6 anos. Em 1833, tornou-se professor de Física na Escola Politécnica de Nuremberga. No entanto, o verdadeiro ponto de viragem da sua vida surgiu quando a Royal Society de Londres lhe concedeu a Medalha Copley, em 1841. Ohm produziu a obra Contribution to Molecular Physics, cujo primeiro volume foi dedicado à Royal Society, um livro em que Ohm elucida a constituição interna da matéria.

Em 1835, Ohm acumulou o cargo de professor de matemática na Universidade de Erlangen. Pouco depois, tornou-se inspetor de educação científica, na Baviera. Em 1849, conseguiu realizar o seu sonho de vida, um lugar de professor numa grande universidade (na Universidade de Munique). À data da sua morte, em 1854, Ohm ainda se encontrava a trabalhar no manuscrito de um livro de ótica. Em sua homenagem, a unidade do Sistema Internacional para resistência elétrica leva o seu nome (ohm).