Молодой Луций узнает детство несчастливое и безутешное. Он потомок
очень древней и известной фамилии, достаточно сказать, что его отец Гней Домиций Агенобарб, ближайший родственник Юлиев-Клавдиев, имеет большое влияние в сенате и при дворе. Мать Луция Агриппина-младшая была дочерью Германика, племянника и приемного сына императора Тиберия. Разлученный с матерью, Луций, едва научившийся ходить, был принят в дом тетки Домиции Лепиды, сестры отца, где он жил до двух лет. В 40 году, уже на следующий год, его ожидает другое несчастье: умирает отец. Ребенку нет еще и трех лет.