Чарльз Мэнсон родился 12 ноября 1934 года в Цинциннати, штат Огайо. Его мать, Кэтлин Мэддокс, родила его в шестнадцать лет. Его отцом был мужчина по имени Колонел Скотт. Однако фамилию Чарли перенял от человека, за которого его мать, вскоре после рождения ребёнка, вышла замуж — Уильяма Мэнсона.
Когда Чарли было шесть лет, Кэтлин посадили в тюрьму на пять лет за вооружённое ограбление. Он был вынужден жить это время с родственниками. Среди них был дядя, который считал его «неженкой» и в первый учебный день отправил Чарли в школу в женском платье.
После освобождения матери 11-летний Мэнсон недолго прожил с ней, Кэтлин отдала его под опеку государства. Последующие годы он провёл в специальных учреждениях для мальчиков, из которых постоянно сбегал и пытался скрыться, угоняя машины и велосипеды.
Однажды он решил пересечь границу штата на угнанном автомобиле, но был пойман и следующие три года провёл в различных исправительных учреждениях.
В январе 1955 года Чарльз Мэнсон женился на семнадцатилетней Розали Джейн Уиллис. Пара решила отправиться в Калифорнию. Через три месяца Чарли был арестован в Лос-Анджелесе за пересечение границ штата на угнанной машине. Розали была беременна, и суд дал Мэнсону три года испытательного срока.