Warum pyspark geben „wir konnten keine externe IP-Adresse“ auf macOS?

Benutze ich pyspark und bekam eine Warnung unten. Könnte mir jemand sagen wie es zu lösen ist? Ist das etwas, was ich besorgt sein sollte?

Code:

lines = sc.textFile("README.md") #worked
lines.count() #error 

Achtung:

16/02/24 08:20:39 WARNEN : Ihren Hostnamen ein.lokale behebt einen loopback/nicht-erreichbar-Adresse: fe80:0:0:0:f09c:b1ff:fef2:170c%awdl0, aber wir konnten keine externe IP-Adresse!

InformationsquelleAutor user3368526 | 2016-02-24



2 Replies
  1. 4

    Funke löst den Hostnamen zu einer Adresse zu etablieren, die Kommunikationskanäle zwischen den Knoten (der Fahrer und Testamentsvollstrecker) für ein Spark-Anwendung.

    Sieht es aus wie deine Maschine hat verschiedene Namen (ggf. in /etc/hosts) und einige von Ihnen sind nicht gelöst, die Funke benutzen kann.

    Können Sie explizit festlegen, den lokalen Hostnamen zu localhost (ist wohl auflösbar) für spark-shell mit SPARK_LOCAL_HOSTNAME – Umgebungsvariable wie folgt:

    SPARK_LOCAL_HOSTNAME=localhost ./bin/spark-shell

    Oder:

    ./bin/spark-shell -c spark.driver.host=localhost

    Finden Umgebungsvariablen in der Dokumentation für weitere Informationen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.