Наконец, после пожара 1812 года дворец был передан ведомству Воспитательного дома для размещения ремесленных учебных мастерских. Наряду с Санкт-Петербургским практическим технологическим институтом, Ремесленное учебное заведение в Москве должно было стать одним из первых гражданских технических заведений в России. Помимо Слободского дворца, ему передавалась примыкавшая часть государственных дворцовых земель. Соседние дворцовые здания одновременно были переданы различным ведомствам: военному госпиталю и Московскому кадетскому корпусу. Д. Жилярди стремился открыть здание городу через большой курдонер. Комиссия строений предусмотрела создание перед дворцом прямоугольной площади и разрегулировала выходящие на нее улицы. Было решено купить находящиеся близ дворца смежные незастроенные земли чтобы избежать по завершении здания постройки на сих землях частными людьми мелочных строений, что не будет делать приличия в столь близком расстоянии строению, равно и безотносительно пожара.

Перестройка была закончена в 1832 году. Здание получило облик, соответствующий новой функции и дворцовому масштабу застройки Лефортова.

В советское время дворец положил начало большому комплексу зданий Московского Высшего технического училища имени Н. Э.Баумана - одного из крупнейших высших учебных заведений страны. Стремительное развитие технических наук делают МВТУ одним из наиболее перспективных вузов и настоятельно требуют его дальнейшего расширения. Сегодня училище, уже насчитывающее свыше 15000 студентов, занимает обширную территорию по правому берегу Яузы. В 1970 году для его новых корпусов было отведено два участка на противоположных берегах - на Рубцовской и Госпитальной набережных.