Впрочем, после открытия оказалось, что купцы биржу не жалуют. Здание пустовало, и в итоге городская дума решила использовать его под свои нужды. Не занимая большого биржевого зала, она разместила там конторы различных учреждений, а после ремонта в 1830-1831 годах здание досталось уездному и земскому судам.
В 1841 году Рыбинск посетил Николай I, которого возмутило нежелание местных купцов вести торговлю цивилизованно. Император распорядился вновь открыть биржу и дать ей надлежащее устройство.
Но и это не смогло сломать прежнего уклада: сделки по-прежнему заключались на улицах, в торговых лавках и в кабаках за чаем.
Всё изменилось в 1860 году, когда председателем биржевого комитета стал купец в третьем поколении
Михаил Журавлёв. Он смог донести до коммерсантов пользу такого подхода и постепенно укрепил авторитет площадки для торгов. Благодаря продуманному управлению рыбинская хлебная биржа по своим оборотам стала крупнейшей в России.
Количество сделок и купцов росли год от года. В итоге в начале XX века мощностей здания уже не хватало. Биржевой комитет решил строить новую биржу, которую торжественно открыли 2 октября 1912 года рядом со старой. Тогда же встал вопрос о дальнейшем использовании прежнего здания, которое требовало значительного ремонта. В итоге решили остановиться на сдаче его в аренду под торговлю, но Первая мировая война внесла свои коррективы. В Рыбинске срочно разместили две роты Гроховского полка, которые и заняли прежние биржевые помещения. В советские годы здесь находились речной вокзал и водная милиция.