Сканируем сайт на предмет поиска файлов

Хорошо помогает утилита dirhunt, лежащая в репозитории python3

Установка

pip3 install dirhunt

Использование:

Найдем pdf файлы на сайте 1.ua и выведем список в файл 1ua.txt, используя локальный тор-прокси; файлы сайт выдаёт с кодом http 405 (для termux)

dirhunt http://1.ua/ --proxies http://127.0.0.1:8118 -e pdf,jpg --stdout-flags 405 >./1ua.txt