-
Notifications
You must be signed in to change notification settings - Fork 0
sunnmas/dorus
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
тестировалась на python 3.7.1
ставим пип на питон 3.7
sudo apt install python3-pip
python3.7 -m pip install pip
pip install Scrapy
pip install PyMySQL
=============================================
Для работы через Tor:
0. качаем tor expert bundle
1. устанавливаем как службу tor.exe --service install от админа
Если не запускается установленная служба говорит "Ошибка 5: Отказано в доступе", то может помочь следующее:
Идем в список служб, находим Tor Win32 Service и изменяем вход в систему с системной учетной записью, и на всякий галку: разрешить управлять рабочим столом
2.ставим http proxy privoxy
3.добавляем строки в конфиг.тхт:
forward-socks4 / localhost:9050 .
forward-socks4a / localhost:9050 .
forward-socks5t / localhost:9050 .
4.убеждаемся
listen-address 127.0.0.1:8118
5. устанавливаем pip install toripchanger
=============================================
Для яйцевания и деплоя ставим setuptools и scrapyd-client
sudo python3.7 -m pip install setuptools
sudo python3.7 -m pip install git+https://github.com/scrapy/scrapyd-client
на винде для установки сетаптулс: install Microsoft visual c++ 14
pip install --upgrade setuptools
засовываем проект в яйцо:
python setup.py bdist_egg
python3.7 setup.py bdist_egg
=============================================
Для работы в скрытом режиме по расписанию:
1.запускаем taskschd.exe
2.импортируем задание abrds.xml
=============================================
поиграться со страницей:
scrapy shell https://sevastopol.cian.ru/sale/flat/212247070/ tor:127.0.0.1:8118 mysql:62.33.3.10
scrapy shell https://check.torproject.org/ tor:127.0.0.1:8118 mysql:62.33.3.10About
scraping
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published