macOS 에서 pyspark SparkContext 생성 시 java.net.BindException 에러
macOS 에서 pyspark SparkContext 생성 시 java.net.BindException 에러¶
macOS 에서 Jupyter 노트북을 통해 로컬 pyspark 의 SparkContext 생성시 아래와 같이 java.net.BindException 에러가 나는 경우가 있습니다.
import os
from pyspark.sql import SparkSession
spark_home = os.environ.get('SPARK_HOME', None)
spark = SparkSession.builder.master("local[*]").appName("spark")
spark = spark.config("spark.driver.memory", "8g")
spark = spark.config("spark.executor.memory", "8g")
spark = spark.config("spark.python.worker.memory", "8g")
spark = spark.getOrCreate()
sc = spark.sparkContext