Кей Гомпа был основан Дромтоном, учеником известного учителя Атиши, в 11-м столетии. Тем не менее, наверняка это факт не был установлен, но считается, что монастырю по крайней мере тысяча лет. Состоялось даже празднование его тысячелетия в 2000 году, в присутствии Далай-ламы.
Монастырь часто подвергался нападению монголов, как набег 17-го столетия во время господства Пятого Далай-ламы. Также Гомпа был поврежден разрушительным огнем в 1840-х. В 1975 году сильное землетрясение также нанесло ущерб зданию.
Повторные нападения на монастырь привели к частым работам по реконструкции, что в свою очередь привело к множеству изменений в структуре. Теперь у Кей Гомпа скорее внешний вид защитного форта, а не монастыря. Сегодня это известный религиозный учебный центр для Лам, которые проводят здесь время в танцах, песнопениях и игре на трубах и рожках.
Монастырь — замечательный пример монашеской архитектуры, которая достигла своего максимального рассвета в течение 14-ого столетия из-за китайского влияния. Регулярные вторжения привели к образованию множества храмов, построенным сверху друг друга. Низкие комнаты и узкие коридоры, слабо освещенные проходы, трудные лестницы и маленькие двери, ведущие к молитвенным комнатам, которые не соответствуют внешнему дизайну.
