<pre id="jbbnp"><rp id="jbbnp"></rp></pre>

    在Python中怎么設置ip代理來使用的?

    發布時間:2020-07-10 關注熱度:°C

      在Pyhton中要怎么使用ip代理?我們經常說ip代理能夠讓Python更好的發揮爬蟲效果,首先我們要懂得如何在python語言中設置ip代理來利用。

    設置ip代理在Python中使用

      1、urllib模塊設置代理

      如果我們頻繁用一個IP去爬取同一個網站的內容,很可能會被網站封殺IP。其中一種比較常見的方式就是設置ip代理。

      from urllib import request

      proxy = 'http://39.134.93.12:80'

      proxy_support = request.ProxyHandler({'http': proxy})

      opener = request.build_opener(proxy_support)

      request.install_opener(opener)

      result = request.urlopen('http://baidu.com')

      首先我們需要構建一個ProxyHandler類,隨后將該類用于構建網頁代開的opener的類,最后在request中安裝opener

      2、requests模塊使用代理

      該模塊設置代理非常容易

      import requests

      proxies = {

      'http': 'http://10.10.1.10:3128',

      'https': 'http://10.10.1.10:1080'

      }

      r = requests.get('http://icanhazip.com', proxies=proxies)

      ip代理利用得當,我們的爬蟲將不會輕易被網站禁止,這樣就可以順利抓取到我們需要的數據信息,幫助了我們爬蟲的效果。

     

    版權聲明:本文為IP海(iphai.cn)原創作品,未經許可,禁止轉載!

    Copyright © 2020-2022 www.meshmotors.com. All Rights Reserved. IP海 版權所有.
    IP海僅提供中國內IP加速服務,無法跨境聯網,用戶使用IP海從事的任何行為均不代本公司的意志和觀點,產生的相關責任用戶自負。
    ICP備案鄂ICP備19030659號-3 公安備案鄂公網安備42100302000141號 計算機軟件著作權證計算機軟件著作權證 ICP/EDI許可證ICP/EDI許可證:鄂B2-20200106

    微信掃一掃咨詢
    八戒八戒在线www日本