[Spark] 판다스 데이터프레임을 스파크 데이터프레임으로 변경하는 방법

코드

from pyspark.sql import SparkSession
import numpy as np
import pandas as pd

spark = SparkSession \
        .builder \
        .appName("1_test_dataframe") \
        .getOrCreate()

df_pandas = pd.DataFrame(np.random.rand(100, 3))
df_spark = spark.createDataFrame(df_pandas)
df_re_pandas = df_spark.select("*").toPandas()

print(df_pandas.head(5))
print(df_spark.show(5))
print(df_re_pandas.head(5))

spark.stop()

결과