Začátkem 17. století byly doly hodně zaplaveny a stříbro značně zlevnilo. Chuť do dolování byla stále slabší. Listinný materiál z této doby dosud nebyl objeven a další zpráva pochází až z roku 1732, kdy se uvádí v prohlášení o výsadách města Hor. Benešova, že podle výsledků dolování neustálo dlouhým těžením, ale okolnostmi doby.
V roce 1724 horní město Benešov, při tak zvané „berní úpravě”, ztratilo právo nazývat se svobodným městem a ztrácí tak osvobození od daní (když potřebovali občany na těžbu stříbra, tak pro ně udělali všechno, ale jak přestali těžit, tak zase byli dobří na placení – pozn. kronikář). Starosta s radními sice protestovali, ale bez úspěchu.
Tak končí druhá etapa historie dolování a zatímco Benešov stagnuje, rozvíjí se mocným způsobem těžba železa v Leskovci, a to od roku 1645 až do dvacátých let 18. století. Pak bylo v údobí let 1749-1770 několik pokusů o obnovení těžby, ale všechny ztroskotaly na malých zkušenostech vedoucích pracovníků, kteří nedovedli zvládnout vyskytnuvší se potíže.
Až teprve po státním krachu v roce 1812 nouze o vzácné kovy upozornila znovu na benešovské stříbrné doly. Císařská guberniální komise za účasti knížecího komorního úředníka přišla do Benešova 20. 10. 1812. V Leskovci se v té době mělo údajně najít uhlí, ale nakonec z toho byla jen břidlice, která podle odhadu důlního znalce prý obsahuje na 1 q (50 kg) asi 20 lotů stříbra. Knížecí inspektor sdělil dne 30. 10. 1812, že kameny jsou skutečně bohaté na stříbro, načež knížecí důlní inspektor Philipp Albert Schwarz žádá o vyměření pozemku pro kutání u kutnohorského vrchního soudu dne 20. 11. 1812 a krnovský purkrabní komorní složil v lednu 1813 předepsanou zkoušku na důlního substita.
V lednu roku 1813 musí být pro velikou vodu žádáno o povolení k prodloužení lhůty k uvolnění žil. Těžkosti ale jsou značnější a kníže přerušuje těžbu. V důsledku toho ustavují benešovští občané spolek těžařů v roce 1817, který si vytkl za cíl, že zpeněží výtěžky nejen dědičné štoly, ale také Jánské šachty na stříbro. Popud k této akci dal správce hamrů Kříž z buchberthalských železáren, kterým náležely životické doly a který při průzkumu benešovských starých kotlin nalezl hojné stopy olovněného blejna a kyzu železného jako výplně žil. Rovněž zjistil jasně směr žil.
Roku 1817 povolává tehdejší starosta Josef Gambs osazenstvo stříbrných dolů do práce; byl to tenkrát první závod tohoto druhu v Jeseníkách. Potom následovalo těžařstvo v Malé Morávce v roce 1831 a v Ludvíkově a Horní město r. 1832. Tyto všechny byly vedeny cílevědoměji než v Horním Benešově a není se co divit. Úmysl byl dobrý a cizí účastníci chtěli odvést vodu ze štol, ale tu vypukl dne 16. května 1820 v půl 11. hod. obrovský požár, který podporován silným větrem zničil v několika hodinách celé město a z hornobenešovských občanů se stali rázem žebráci a k úspěšnému vedení dolů nestačili pouze příspěvky cizích účastníků. Přesto za pomoci účastníků z Vídně se v roce 1829 podařilo rozšířit výstavbu dolu o 240 láter. Tu se však prolomila stará štola a voda, která před tím vyvěrala nahoru, se vylila do nové štoly, takže ve stavbě nemohlo být pokračováno.
Tehdejší vedoucí Pojsl opustil proto tuto stavbu a pokoušel se dosáhnout rudných žil v povrchové šachtě. Do roku 1836 se dostal do hloubky 10 láter a narazil na povrch spodní vody. Dosáhl jen hloubky 16 sáhů a ne 25, jak si předsevzal. Rudy nebylo. Staré haldy byly vyčerpány už dříve horníky a bohaté rudné žíly ležely ve větších hloubkách. Proto stříbro těžili ne z dolů, ale ze staré pestovny. Začali otvírat šachtu na jiném místě, domnívali se, že se dostali na správné místo. Ale opět jim voda zničila dílo. Pro nedostatek finančních prostředků nebylo možné provést zajištění dolů a tak po 20leté usilovné práci nezískali nic jiného, než přesvědčení, že v Benešově je bohatý výskyt stříbrné rudy, a že nebylo dosaženo patřičné hloubky. V roce 1837 se obrátili na knížete s prosbou o pomoc, ale ten byl velmi opatrný a žádal důkladné přetvoření důlního těžířstva a osazenstvo 4 horníků nedostačovalo, jak chtěl.
V roce 1837 nastal obrat, poměry spolku byly velmi zlé, aby se zlepšily, žádala část těžařů energický postup. Josef Gambs zažádal císařskou komisi o prozkoumání dolů. Stalo se. Byly prozkoumány a hornicky i geognosticky zpracovány. Pak následovala reorganizace správního aparátu. Byl ustanoven nový vedoucí (Höninger) a jeho kontroloval výbor z těžařů. Stanoven plán výstavby pro rok 1837, a sice: stavba pestovny, splavovny se třemi výpustěmi a vlastní tavírny, aby se získalo více peněz. Prodány byly i dva doly na železo a prodávalo se vápno až do roku 1841, kdy byl tento prodej zastaven, protože by se muselo vydat 84 fl. za postavení pecí.
