Собрания Нептунова общества вызывали кривотолки одним перечислением имен тайных «общественников». Петр I, Брюс, Лефорт, Голицын, Меншиков, Шереметев… Говорили, что царь с немцами творит в башне дела «нечестивые» и «богомерзкие», общается с сатаной и занимается чародейством. Кстати, спустя почти век после Нептуновых собраний, суд, заседавший в Сухаревой башне, оправдал Новикова, подозреваемого Екатериной II в организации против нее масонского заговора. Может, и впрямь башня благоволила к масонам и оберегала их?
В 1715 Навигацкую школу перевели в Петербург, а в Сухаревой башне разместились адмиралтейские конторы, судейские палаты и камеры. Еще одно знаковое событие произошло в 1812 году. За день до вступления наполеоновских войск в Москву, ястреб с путами на лапах запутался в крыльях двуглавого медного орла, венчающего башню, долго бился, затем издох на глазах у собравшегося народа. Стоит ли говорить, что победа над Наполеоном позже прочно была связана москвичами с этим случаем?
В 1829-м и 1854-м Сухарева башня стала водонапорной, возле нее установили водоразборный фонтан, который можно видеть на многих гравюрах того времени. В 1890-м запустили Крестовские водонапорные башни и резервуары Сухаревой были демонтированы.
После революции, в 1926 году башню отдали под Московский коммунальный музей — предшественник нынешнего Музея истории Москвы. Он пользовался большой популярностью и позволял москвичам наконец-то разглядеть изнутри легендарную башню, в которой еще и в конце XIX века видели живого Брюса. К слову, в декабре 1925 года члены комиссии «Старая Москва» — археолог, всю жизнь посвятивший поискам библиотеки Ивана Грозного И. Я. Стеллецкий, архитектор Н. Д. Виноградов и краевед О. И. Пенчко обследовали подземелья Сухаревой башни и обнаружили пять замурованных подземных ходов, предположительно ведущих к дому Брюса на 1-й Мещанской. Но исследования не были продолжены.
Архитекторам дали «потешиться» до апреля 1934 года. За это время была предоставлена масса проектов, позволявших спасти Сухареву башню, но… в ночь с 13-е на 14-е апреля начался слом. Участь башни была решена, ученым удалось спасти лишь некоторые фрагменты, которые увезли в Коломенское. Говорили, что Сталин самолично контролировал разборку и что какие-то книги были обнаружены и вывезены с места сноса. Однако Черная книга так и осталась не найденной.
Еще в 90-х годах прошлого века черными кладоискателями активно исследовались многочисленные ходы под Сухаревской площадью, входы в которые располагались в старых домах Сретенки и сретенских переулков. Существует легенда, что в прорытом еще при Иване Грозном ходе от Сухаревой башни (точнее, от Сретенских ворот) к Кремлю может быть замурована библиотека Ивана Грозного. Однако чаще находили так называемые погибшие клады: сундуки с дорогими одеждами и мехами. Поиски обеих библиотек никакого результата не дали. Фундамент Сухаревой башни сохранился и находится под площадью. Значит, о погибшей башне и дальше будут создаваться мифы.