Замок был построен в 13 веке как опорный пункт против тевтонских рыцарей.
Древние летописи утверждают, что глава тевтонского ордена всерьез отнесся к подготовке нападения на Каунасский замок и приказал узнать точную толщину стен и доложить, где стены тоньше всего.
Высота стен на момент постройки достигала 11 метров.
Основательно подготовившись, тевтоны напали на замок.
Тевтонские рыцари были вынуждены осаждать каунасский замок три недели. Построив наконец, осадную башню, рыцарям удалось захватить замок и разрушить его.
Каунасский замок был вновь восстановлен Витаутасом.
После Грюнвальдской битвы, Каунасский замок потерял свое военно-стратегическое значение и использовался в качестве резиденции.
В настоящее время замок является туристическим центром.