Mach foi o primeiro dos três filhos de Johann Mach e Josephine Lanhaus. O seu pai recebeu educação clássica na faculdade de filosofia da Universidade de Praga e a sua mãe foi criada dentro da tradição de uma família envolvida na prática de direito e medicina. Mach foi educado em casa até os 14 anos, posteriormente frequentou durante pouco tempo o ensino médio, até entrar na Universidade de Viena, aos 17 anos. Doutorou-se em física no ano 1860 com uma dissertação sobre descargas elétricas e indução; ensinou mecânica e física, em Viena, até 1864, quando se tornou professor de matemática na Universidade de Graz. Nessa época, os interesses de Mach já se tinham começado a direcionar para a psicologia e fisiologia sensorial, apesar de ter sempre continuado a identificar-se como sendo físico (ao longo da sua carreira, sempre conduziu investigações na área da física). Durante a década de 1860, descobriu a tendência do olho humano para ver bandas claras ou escuras perto das fronteiras entre diferentes áreas de forte iluminação, um fenómeno fisiológico que ficou conhecido como bandas de Mach.

Mach deixou a Universidade de Graz para se tornar professor de física experimental da Charles University, em Praga, em 1867, permanecendo lá durante os 28 anos seguintes. Foi lá que Mach realizou estudos sobre a sensação cinestésica, o sentimento associado ao movimento e à aceleração. Entre 1873 e 1893, desenvolveu técnicas óticas e fotográficas para a medição de ondas sonoras e a sua propagação. Em 1887, estabeleceu os princípios das velocidades supersónicas e o número de Mach (a razão entre a velocidade de um objeto deslocando-se no ar e a velocidade do som).

Foi em 1897 que Mach criou o conceito de que todo o conhecimento é derivado da sensação, portanto, fenómenos sob investigação científica só podem ser compreendidos com base em experiências, ou “sensações”. Foi esta visão que conduziu ao estabelecimento de que nenhuma afirmação em ciências naturais pode ser admissível, a menos que seja empiricamente verificável. Foram os seus critérios de verificabilidade, excecionalmente rigorosos, que levaram Mach a rejeitar os conceitos metafísicos como o tempo e o espaço absolutos, preparando o caminho para a teoria da relatividade de Einstein.

Mach também propôs o princípio físico, conhecido como princípio de Mach, de que a inércia (a propensão de um corpo em repouso a permanecer em repouso e de um corpo em movimento continuar em movimento retilíneo uniforme) resulta da relação dos objetos com o resto da matéria do Universo. Este princípio foi também absolutamente estruturante para a construção das teorias da relatividade de Einstein.

Mach ainda retornou à Universidade de Viena como professor de filosofia indutiva, em 1895, porém, sofreu um derrame dois anos depois e aposentou-se da investigação ativa, em 1901, quando foi nomeado para o parlamento austríaco. Mach continuou a lecionar e a escrever, mesmo no período de reforma, tendo escrito a obra “Conhecimento e erro”, em 1905, e uma autobiografia, em 1910.