Rankine era filho de David Rankine, tenente de exército, e Barbara Grahame. Por causa da sua saúde precária, Rankine recebeu a maior parte da sua educação inicial em casa, tendo sido ensinado pelo seu pai e, mais tarde, por professores particulares. Em 1836 ingressou na Universidade de Edimburgo, onde estudou filosofia natural. No ano seguinte, introduziu-se na área da engenharia ferroviária ao ajudar o seu pai, que se havia tornado supervisor na via-férrea de Edimburgo e Dalkeith.

Apesar de bom aluno, Rankine deixou Edimburgo, em 1838, sem graduação. Foi para a Irlanda onde trabalhou por quatro anos como aprendiz de John Benjamin Macneill (1793 – 1880) em caminhos de ferro, hidráulica e vários outros projetos do seu mentor, um engenheiro civil proeminente. Depois de terminar a sua graduação, Rankine retornou à Escócia onde desempenhou tarefas como engenheiro civil.

Em 1850, foi eleito membro da Royal Society de Edimburgo e, três anos depois, foi eleito membro da Royal Society de Londres, tendo recebido, em 1854, a Medalha Keith da Royal Society de Edimburgo pelas suas investigações publicadas sobre a teoria mecânica do calor. Em 1855, foi nomeado para a cadeira de engenharia civil e mecânica na Universidade de Glasgow.

Um dos primeiros trabalhos científicos de Rankine, um artigo sobre a fadiga de metais de eixos ferroviários, em 1843, conduziu à elaboração de novos métodos de construção. Em 1858, publicou o seu Manual of Applied Mechanics, obra que foi de grande ajuda para engenheiros e arquitetos. Em 1859, Rankine publicou a sua obra mais importante, o seu Manual of the Steam Engine and Other Prime Movers, uma primeira tentativa para realizar um tratamento teórico sistemático à máquina a vapor. Rankine trabalhou sobre um novo ciclo termodinâmico (mais tarde designado por ciclo de Rankine) que foi utilizado como padrão para o desempenho de instalações a vapor nas quais um vapor condensável corresponde ao fluido cujas expansões e contrações realizam trabalho. Rankine também realizou investigações na área da mecânica dos solos, tendo publicado um artigo sobre a estabilidade de paredes de retenção de solos denominado “Sobre a teoria termodinâmica de ondas de perturbação longitudinal finita”.

Rankine também ficou conhecido pela escala de temperatura absoluta que leva o seu nome, rankine (R), escala essa que está estritamente relacionada com a escala grada de Fahrenheit por um fator de conversão aditivo de 459,67.