تنظیم پروکسی در Scrapy

Scrapy یک فریمورک فوق العاده برای خزش اطلاعات هست اگه وقت کنم حتما بیشتر دربارش آموزش میزارم.

برای اینکه تو اسکریپی پروکسی تنظیم کنید ۲ تا راه است.

1. در درخواست پروکسی رو تنظیم کنید

import scrapy, base64

class TestIP(scrapy.Spider)
    name = 'test_ip'
    def start_requests(self):
        proxy_uri = 'http://localhost:8118'
        auth='username:password'.encode('utf-8')
        yield scrapy.Rquest('http://icanhazip.com',meta={'proxy':proxy_uri},
                            headers={'Proxy-Authorization': b'Basic '+base64.urlsafe_b64encode(auth)}
        )

import scrapy, base64

class TestIP(scrapy.Spider)

name = 'test_ip'

def start_requests(self):

proxy_uri = 'http://localhost:8118'

auth='username:password'.encode('utf-8')

yield scrapy.Rquest('http://icanhazip.com',meta={'proxy':proxy_uri},

headers={'Proxy-Authorization': b'Basic '+base64.urlsafe_b64encode(auth)}

)

یا

import scrapy
from w3lib.http import basic_auth_header

class TestIP(scrapy.Spider)
    name = 'test_ip'
    def start_requests(self):
        proxy_uri = 'http://localhost:8118'
        yield scrapy.Rquest('http://icanhazip.com',meta={'proxy':proxy_uri}, 
                            headers={'Proxy-Authorization': basic_auth_header('username', 'password')}
        )

import scrapy

from w3lib.http import basic_auth_header

class TestIP(scrapy.Spider)

name = 'test_ip'

def start_requests(self):

proxy_uri = 'http://localhost:8118'

yield scrapy.Rquest('http://icanhazip.com',meta={'proxy':proxy_uri},

headers={'Proxy-Authorization': basic_auth_header('username', 'password')}

)

2. یک middleware تعریف کنید

class TestIP(scrapy.Spider):
    name = 'test_ip'
    custom_settings = {
        'DOWNLOADER_MIDDLEWARES': {
            'PROJECT.middlewares.UserProxy.UserProxyMiddleware': 100,
        }
    }

class TestIP(scrapy.Spider):

name = 'test_ip'

custom_settings = {

'DOWNLOADER_MIDDLEWARES': {

'PROJECT.middlewares.UserProxy.UserProxyMiddleware': 100,

}

و در مسیر PROJECT/middlewares فایل UserProxy رو ایجاد کنید و با یکی از دو روش بالا پروکسی رو تنظیم کنید.

class UserProxymiddleware():
    def process_request(self, request, spider):
        proxy_uri = 'http://localhost:8118'
        request.meta['proxy'] = proxy_uri
        request.headers['Proxy-Authorization'] = basic_auth_header('username', 'password')

class UserProxymiddleware():

def process_request(self, request, spider):

proxy_uri = 'http://localhost:8118'

request.meta['proxy'] = proxy_uri

request.headers['Proxy-Authorization'] = basic_auth_header('username', 'password')

اگه پروکسی نیازی به احراز هویت نداره لازم نیست header رو تنظیم کنید

منبع

1. در درخواست پروکسی رو تنظیم کنید

2. یک middleware تعریف کنید

دیدگاهتان را بنویسید لغو پاسخ