В Рыбинске почти не сохранилось зданий XVIII — начала XIX веков. Это неудивительно. Во-первых, большинство из них были деревянными и регулярно сгорали в пожарах. Во-вторых, никто тогда не думал про архитектурную или историческую ценность: дома расширяли, перестраивали, сносили и возводили на их месте новые. Поэтому каменных свидетелей, помнящих события конца XVIII века, осталось только два:
Казанская церковь и Дом купца Попова на пересечении Крестовой и Преображенского переулка.
Точной информации, когда купец Алексей Попов начал строительство своего особняка, не сохранилось. Известен приблизительный период — 80-е годы XVIII века.
В то время город, простиравшийся на пару километров к западу от устья Черёмухи, был застроен хаотично. Улиц в современном понимании ещё не было, дороги изгибались во всех мыслимых направлениях.
Фасады обращались во дворы, в то время как хозяйственная часть выходила на всеобщее обозрение. Стоит ли говорить, что Рыбная слобода производила впечатление большой деревни. Именно такую неприглядную картину увидела во время своего путешествия по Волге императрица Екатерина II.