تنظیم پروکسی در Scrapy

Scrapy یک فریمورک فوق العاده برای خزش اطلاعات هست اگه وقت کنم حتما بیشتر دربارش آموزش میزارم.

برای اینکه تو اسکریپی پروکسی تنظیم کنید ۲ تا راه است.

1. در درخواست پروکسی رو تنظیم کنید

یا

 

2. یک middleware تعریف کنید

و در مسیر PROJECT/middlewares فایل UserProxy رو ایجاد کنید و با یکی از دو روش بالا پروکسی رو تنظیم کنید.

اگه پروکسی نیازی به احراز هویت نداره لازم نیست header رو تنظیم کنید

منبع

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *