[Spark] csv 파일을 읽어서 스파크 데이터프레임으로 만드는 방법

코드

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType

spark = SparkSession\
        .builder\
        .appName("0_save_file")\
        .getOrCreate()

schema = StructType([StructField("first",  StringType(), True),
                     StructField("second", StringType(), True),
                     StructField("third",  StringType(), True)])

df = spark.read.csv('/home/spark/result/1_test_dataframe.csv', header = False, schema = schema)

print(df.show())

spark.stop()

결과