С 1566 года Шерешево в составе Берестейского повета. Во время Ливонской войны в 1578 году здесь некоторое время размещались войска польского короля Стефана Батории.
Во время польско-шведских войн XVII века Шерешево неоднократно разрушалось. Потери были такими большими, что сейм Речи Посполитой в 1661 году освободил местечко на 4 года от всех налогов. Владельцами Шерешево в 1766 году были Флеминги, а после них Чарторыйские.
В XVIII столетии Шерешево находилось во владении графов Флемингов. Эти выходцы из Фламандии породнились с древним родом Чарторыйских.
А когда князь Адам Казимир Чарторыйский вступил в брак с Изабеллой — дочерью Антонины Чарторыйской и Яна Ежи Флеминга, которая в Речи Посполитой слыла одной из прелестнейших женщин (фактически юная графиня приходилась князю двоюродной племянницей), то традиционно получил местечко в приданое. Этот самый Адам Казимир приходился двоюродным братом Станиславу Августу Понятовскому, мать которого Констанция тоже была из Чарторыйских. Родовая резиденция Чарторыйских-Понятовских находилась недалеко от Шерешево — на территории теперешнего Каменецкого района, в поместье Волчин неподалёку от Высокого.Сын Адама Казимира и Изабеллы Адам Ежи (Юрий) Чарторыйский тоже занимал высокие посты в Российской империи, был министром иностранных дел, дружил с Александром I. Что не помешало ему участвовать в создания автономного Царства Польского и антироссийском восстании 1794 года.
С 1803 г. Чарторыйский младший был попечителем Виленского учебного округа. Это при нем в Виленском университете расцвело вольнодумное товарищество филоматов-филаретов. После процесса по делу этого товарищества Адам Адамович вынужден был уйти в отставку. Во время восстания 1830-1831 годов он возглавлял сначала Временное, а потом Национальное польское правительство, которое объявило независимость от России. После восстания эмигрировал, имущество Чарторыйских, в том числе Шерешево, было конфисковано российским правительством.
В инвентарном описании Шерешевского староства 1798 года указано, что в его состав кроме самого местечка входило 21 окрестное село с фольварками Долгое, Мурава, Великое Село и Лихосельцы.
В это время начинается ухудшение экономического состояния местечка. Тракт, соединявший новую столицу Польши Варшаву с Вильно, проходил вдали от Шерешево. Сократилось количество торговых обозов, следующих через местечко, уменьшилось число проезжих – служебных и частных лиц. Многие купеческие семейства покидали Шерешево и переселялись в большие города. Из-за общего экономического упадка и разорения края в ходе многочисленных войн в XVIII веке все небольшие местечки в 1776 г. были лишены городских прав, в том числе и Шерешево. Его перевели в разряд государственных имений, но сохранили городское самоуправление.
В 1790 году в Шерешево насчитывалось 3366 жителей и 561 дом. Население местечка и окрестностей обслуживали более 60 ремесленников. Купцы, не ограничиваясь местной торговлей, имели связи с заграницей, главным образом с городами тогдашней Пруссии – Гданьском, Кенисбергом, Эльбингом. Инвентарь Шерешева за 1793 год представляет нам местечко, в центре которого расположена ратуша, с 16-ю лавками и торговой площадью вокруг нее, а также 5 улиц (Виленская, Островецкая, Новая, Каменская, Липовая), 2 рынка (старый и новый) и более 500 домов.
Над ними возвышался деревянный дворец шерешевского старосты князя Адама Чарторыйского, получившего Шерешево в приданое от богатой и знатной княжны — Изабеллы Флеминг. Улица Липовая, достаточно длинная и просторная, на которой находился дворец, была выстлана деревянными бревнами, а гребли — вымощены. Городское управление (магистрат) возглавляли войт с бурмистром, писарем и радцами (советниками). Напротив ратуши размещалось караульное помещение, в котором жили сержант и 4 солдата.
История дворца за время обросла многими легендами. Некоторые местные любители истории его создание связывают с великим князем Витовтом, другие уверяют, что дворец построила королева Бона. Вот одна из таких публикаций в газете «Вечерний Брест» (21 сентября 2012 г. «Двуликий Витовт»)