Среди предков писателя по отцовской линии — сподвижник Петра
I — П. А. Толстой, одним из первых в России получивший графский титул. Участником Отечественной войны 1812 г. был отец писателя гр. Н. И. Толстой. По материнской линии Толстой принадлежал к роду князей Болконских, связанных родством с князьями Трубецкими, Голицыными, Одоевскими, Лыковыми и другими знатными семьями. По матери Толстой был родственником А. С. Пушкина.Когда Толстому шел девятый год, отец впервые повез его в Москву, впечатления от встречи с которой живо переданы будущим писателем в детском сочинении "Кремль". Москва здесь названа "величайшим и многолюднейшим городом Европы", стены которого "видели стыд и поражение непобедимых полков Наполеоновых". Первый период московской жизни юного Толстого продолжался менее четырех лет. Он рано осиротел, потеряв сначала мать, а затем и отца. С сестрой и тремя братьями юный Толстой переезжает в Казань. Здесь жила одна из отцовских сестер, ставшая их опекуншей.
Живя в Казани, Толстой два с половиной года готовился к поступлению в университет, где учился с 1844 г. сначала на восточном, а затем на юридическом факультете. Изучал турецкий и татарский языки у известного тюрколога профессора Казембека. В зрелую пору жизни писатель свободно владел английским, французским и немецким языками; читал на итальянском, польском, чешском и сербском; знал греческий, латинский, украинский, татарский, церковнославянский; изучал древнееврейский, турецкий, голландский, болгарский и другие языки.
Занятия по казенным программам и учебникам тяготили Толстого-студента. Он увлекся самостоятельной работой над исторической темой и, оставив университет, уехал из Казани в Ясную Поляну, полученную им по разделу отцовского наследства. Затем он отправился в Москву, где в конце 1850 г. началась его писательская деятельность: незаконченная повесть из цыганского быта (рукопись не сохранилась) и описание одного прожитого дня ("История вчерашнего дня"). Тогда же была начата повесть "Детство". Вскоре Толстой решил поехать на Кавказ, где его старший брат, Николай Николаевич, офицер-артиллерист, служил в действующей армии.