Москве, в семье купца 3-й гильдии Кондратия Артемьевича Саврасова.
Отец и сын некоторое время писали свою фамилию через «о» — Соврасов (в частности, А. К. Саврасов так писал свою фамилию до середины 1850-х годов).Осенью 1857 года 27 летний Алексей Саврасов женился на 31 летней Софье Карловне Герц (1826—1895) — сестре учившегося вместе с ним художника Константина Герца, а также сестре известного в то время археолога и историка искусства Карла Герца. В браке родилось четыре дочери и один сын. Одна умерла в детском возрасте от скарлатины, другая умерла новорождённой в Ярославле (1871), две другие — Вера (род. 1861) и
Евгения (род. 1867).