# La vue source –La source du jeu.
#python3用于爬取ip代理地址,程序暂未完善,没有有做自动翻页
import requests
import parsel
import time
def check_ip(proxies_list):
« » »检测ip的方法 » » »
headers = {‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.79 Safari/537.36’}
can_use = []
for proxy in proxies_list:
try:
response = requests.get(‘http://www.baidu.com’, headers=headers, proxies=proxy, timeout=0.1) # 超时报错
if response.status_code == 200:
can_use.append(proxy)
except Exception as error:
print(error)
return can_use
import requests
import parsel
# 1、确定爬取的url路径,headers参数
base_url = ‘https://www.kuaidaili.com/free/intr’
?? Utilisateur-Agent’: «Mozilla/5.0; Win64; x64) AppleWebKit/5337 (KHTML, comme Gecko) Chrome/79.39.45.79 Safari/537′} #2, envoi de la demande — envoyer des demandes de navigateurs de simulation envoyer des requêtes de données.get=requêtes.Get=headers) Données = création.texte #print(data) # ouvrir un fichier ip.txt pour enregistrer le fichier = ouvert (`ip.txt’, ‘a+’, encoding=’utf-8′) #a+ (additionnable si le document n’est pas disponible) #3, parsel to Selecor object, qui a une méthode xpath pour traiter les données converties # 3, 1 Convertir python type de données interactif # html_data = parsel. Sélecteur (données) # 3, 2 Parse_list = html_data.xpath (‘/table[@class= »table table-ckered table-striped »]/ tbody/tr’) # Retour à l’objet de sélecteur # print(pars_list) # IP libre {le protocole: « port » # # # cycle temps rond, extraits secondaires ?? [pour in_list: papers_diment=}[4]/text()’).extract_first() ip_num = tr.xpath(‘./td[1]/text()’).extract_first() port_num = tr.xpath(‘./td[2]/text()’.extract_first()#print (http_type, ip_num, port_num) # Ecrire dans les fichiers txt fichier file file.write(`)file.write(`port_num) file.write(`n’) # Construire un dictionnaire proxy[http_type] = ip_num + ‘: ‘+ port_num # prixies_dec) program_list.append (products_list) print(« Retrieved proxy ip: », llen (proxies_list), file.close()
未经允许不得转载:萌萌Apprentissage » Python pour ramper sur l'adresse proxy ip
Python lote pour extraire des images de moteurs de recherche
Le mot de Python grimpant à 100 degrés.
PythonTaiichi Taipei Intelligence artificielle Traitement graphique de Tensoflow
Sélénium avec navigateur Tor en utilisant Python
Je vais t'en chercher un nouveau, Shell.cloud.google en ligne.
exécuter crontab avec python sélénium tor navigateur affichage dans linux