日誌2023-08-01 23:41
針對巴哈和噗浪的Python爬蟲─三、─（三）副程式─2.連線測試作者：SystemCall
| import time import requests from fake_useragent import UserAgent def go_to_web(web_URL): #測試網路連結的狀態 web_status = 0 #程式調整的網路狀態碼 web_testtime = 0 #測試網路連線的次數 while web_status != 200 and web_testtime != 3: #當網路狀態碼等於200或測試次數達到3次時，結束迴圈 headers = {"User-Agent" : UserAgent().random} #設置http頭欄位，裡面夾帶瀏覽器識別標籤 Go_to_web = requests.get(web_URL, headers = headers, timeout = 60, allow_redirects = False, stream = True, verify = False) #對web_URL夾帶headers發出GET請求，timeout為最長反應時間，allow_redirects為禁止重新定向，stream為強制解壓縮，verify為SSL憑證檢查功能 requests.packages.urllib3.disable_warnings() #關閉InsecureRequestWarning的顯示 if Go_to_web.status_code != 200: #如果網路狀態碼不等於200 time.sleep(30) #停頓30秒 web_testtime = web_testtime + 1 #測試網路連線的次數加1 else: #等於200 web_status = Go_to_web.status_code web_testtime = web_testtime + 1 #測試網路連線的次數加1 Go_to_web.close() #關閉對web_URL夾帶headers發出GET請求 return web_status #回傳程式調整的網路狀態碼 |
LINE