Weber foi um dos doze filhos de Michael Weber, professor de teologia na Universidade de Wittenberg. Dos quatro irmãos e uma irmã que viveram até idade avançada, o irmão mais velho tornou-se ministro, ao passo que os outros irmãos voltaram-se para a ciência e medicina. Ernst Heinrich, quase dez anos mais velho que Wilhelm, tornou-se uma autoridade nas áreas do anatomismo e fisiologista e foi professor em Leipzig. Eduard, um ano e meio mais novo que Wilhelm, também se tornou professor de anatomia em Leipzig.

Weber foi educado em Halle e depois em Göttingen, onde foi nomeado professor de física, em 1831. Foi professor na Universidade de Leipzig (1843-49) e depois voltou para Göttingen onde se tornou o diretor do observatório astronómico da cidade. Desempenhou um papel importante no desenvolvimento da física da eletricidade, principalmente pelo seu trabalho em estabelecer um sistema de unidades elétricas absolutas. Gauss havia introduzido um arranjo lógico de unidades para o magnetismo, envolvendo as unidades básicas de massa, comprimento e tempo. Weber repetiu isso para a eletricidade, em 1846. Também trabalhou, ocasionalmente, em colaboração com os seus irmãos, os fisiologistas Ernst Heinrich Weber (1795 – 1878) e Eduard Friedrich Weber (1806 – 1871). Ao longo dos seus últimos anos em Göttingen, Weber estudou eletrodinâmica e estrutura elétrica da matéria.

Weber recebeu muitas honras em Inglaterra, França e Alemanha, entre as quais se destacam o título de Geheimrat (Conselheiro Privado) e a Medalha Copley da Royal Society. Muitos dos seus extensos artigos foram publicados nos seis volumes da obra Resultate aus den Beobachtungen des magnetischen Vereins (1837 – 1843), editado por Weber e por Gauss. Reformou-se na década de 1870, abrindo mão das suas funções na física para o seu assistente, Eduard Riecke (1845 – 1915). Em homenagem a Weber, o seu nome foi atribuído à unidade do Sistema Internacional de fluxo magnético, weber.