Auflösen und Speichern von Hostnamen parallel zu Python

Question

Ich versuche, eine Liste von Hostnamen aufzulösen. Das Problem ist, wenn ich auf eine nicht vorhandene Domain stoße, verlangsamt dies den gesamten Prozess. Der Code ist eine triviale for-Schleife:

for domain in domains:
    try:
        if socket.gethostbyname(domain.split('@')[1]):
            file1.write(domain)
        else:
            file2.write(domain)
    except socket.gaierror:
        pass

Ich habe mich gefragt, ob es eine einfache Möglichkeit gibt, das zu parallelisieren, was sich in der for-Schleife befindet.

python parallel-processing

1

user1700840 9 Okt. 2012 im 19:15

Answer 1

Sie können eines der Beispiele von Gevent verwenden: dns_mass_resolve.py. Es gibt auch eine nützliche Möglichkeit, das Zeitlimit für alle Abfragen festzulegen.

from __future__ import with_statement
import sys
import gevent
from gevent import socket
from gevent.pool import Pool

N = 1000
# limit ourselves to max 10 simultaneous outstanding requests
pool = Pool(10)
finished = 0


def job(url):
    global finished
    try:
        try:
            ip = socket.gethostbyname(url)
            print ('%s = %s' % (url, ip))
        except socket.gaierror:
            ex = sys.exc_info()[1]
            print ('%s failed with %s' % (url, ex))
    finally:
        finished += 1

with gevent.Timeout(2, False):
    for x in xrange(10, 10 + N):
        pool.spawn(job, '%s.com' % x)
    pool.join()

print ('finished within 2 seconds: %s/%s' % (finished, N))

5

The Unfun Cat 9 Okt. 2012 im 15:45

Answer 2

import thread

def resolve_one_domain(domain):
     ...

for domain in domains:
   thread.start_new_thread(resolve_one_domain, [domain])

0

defuz 9 Okt. 2012 im 15:21

Answer 3

Ich kenne keine einfache Lösung. Die Verwendung mehrerer Threads / Prozesse wäre kompliziert und würde wahrscheinlich nicht viel helfen, da Ihre Ausführungsgeschwindigkeit an E / A gebunden ist. Daher würde ich mir eine asynchrone Bibliothek wie Twisted ansehen. In IReactorCore gibt es eine Methode resolve: http://twistedmatrix.com/documents/12.2.0/api/twisted.internet.interfaces.IReactorCore.html

1

Achim 9 Okt. 2012 im 15:22

Auflösen und Speichern von Hostnamen parallel zu Python

3 Antworten

Verwandte Fragen

Neue Fragen

python