İzafiyet kuramını ilk olarak ortaya atan Galileo'dur. Hareket eden gözlemcilerin hareketleri nasıl gözlemlediği üzerine çalışmış bugün lise fizik derslerinde bağıl hareket adı verilen hız dönüşümlerini yazmıştır. Newton mekaniği ile tamamen uyumlu olan bu dönüşümleri kullanarak yüzyıllar boyunca kullanılmış hareket eden bir araçtan atılan topun hareketinden(buna at sürerken atılan oktan seyir halindeki gemiden atılan top mermisine kadar) gezegenlerin hareketi birbiri tarafından nasıl algılanacağına kadar (bütün gezegenleri dünyadan gözlemlediğimiz için gezegenlerin hareketini anlamada çok işe yaramıştır) bir çok hesaplamada rüştünü ispatlamıştır.
19. yüzyılda işin rengi değişecektir çünkü Maxwell elektrik ve manyetiği birleştiren denklemlerini bir araya getirip elektrik alanı ile manyetik alanın birlikte elektromanyetik dalga olarak ilerlediğini ve bunun ışığın ta kendisi olduüğunu gösterecekti. Bu ışık, elektrik ve manyetik alanda bir çok sorunu çözmekle birlikte radar, radyo gibi bir çok teknolojiye kapıları açmıştı fakat Maxwell denklemlerinin büyük bir problemi vardı çünkü Galileo'nun dönüşümlerine uymuyordu. Böyle bir şey imkansızdı ve Maxwell denklemlerinde bir eksik bir yanlışlık olmalıydı çünkü hareket eden adama göre fizik farklı işleyemezdi. O yıllarda herkes Maxwell denklemlerini nasıl Galileo dönüşümlerine uyacak hale getirebiliriz diye uğraşırken bir adam tam tersini denedi. Hendrik Lorentz elektrodinaği daha iyi anlıyabilmek için bunu bir matematik problemi olarak ele alıp bu denklemlerin uyacağı bir matematiksel dönüşüm yazmayı denedi ve nıhayetinde bugün Lorentz dönüşümleri diye bilinen dönüşümleri yazdı fakat yazdığı matematik fiziksel olarak bir anlama gelemeyecek kadar saçmaydı farklı gözlemciler zamanı farklı algılamaları gerekiyordu.
Bu noktada devreye Einstein giriyor. Einstein Maxwell denklemlerine çok güveniyordu nihayetinde yüz yıldır açıklanamamış ışıkla ilgili deneylerin nerdeyse hepsini mükemmel bir şekilde açıklıyordu açıklayamadığı tek bir deney vardı ilk olarak Hertz'in yaptığı fotoelektrik deneyi. Daha sonraları Lenard tarafından elektromanyetiğin açıklayamadığı kısmı açıkça ortaya koyacak şekilde geliştirilmişti ama bu Einstein için bir sorun değildi çünkü özel görelilikten bir kaç ay önce yayınladığı ve daha sonraları kendisine Nobel ödülü getirecek olan fotoelektrik makalesinde bunu açıklamayı başarmıştı. Bunun üstüne Maxwell denklemlerine dayanan radar, telsiz, radyo gibi cihazlar gayet düzgün çalışıyordu. Ünlü roman kahramanı Sherlock Holmes'un dediği gibi: "İmkansızı eledikten sonra elinde kalan ne kadar olasılık dışı da olsa gerçeğin ta kendisidir". Öyleyse Lorentz dönüşümleri gerçek olmalıydı ve nasıl hareket eden bir gözlemci başka cisimlerin hızlarını farklı gözlemliyorsa zamanı da farklı gözlemliyor olabilirdi. Ve bunun tek yolu zamanı uzaydan bağımsız bir değişken değil de uzay-zaman'ın bütün olduğu bir matematik ile mümkündü. İşte özel görelilik bu şekilde ortaya çıktı.
Bundan yaklaşık on yıl sonra buna yerçekimi ve ivmeli hareketin göreliliğini kattığı genel görelilik teorisini oluşturacak ve zamanın önemli deneysel fizikçilerinden Eddington 29 May 1919 tarihindeki güneş tutulması sırasında yaptığı gözlemlerle yıldız ışıklarının Güneş'in kütle çekiminden etkilendiğini göstermesi ile Einstein'ın haklı olduğunu ispatlıyacaktı.
