from pyspark.sql import SparkSession, Row
spark = SparkSession \
.builder \
.master('local') \
.appName('my_pyspark_app') \
.getOrCreate()
data = [Row(id = 0, name = 'park', score = 100),
Row(id = 1, name = 'lee', score = 90),
Row(id = 2, name = 'kim', score = 80)]
df = spark.createDataFrame(data)
df.show()
'Data Engineering > Spark' 카테고리의 다른 글
[Spark] pyspark dataframe을 원하는 열로 groupby 하는 방법 (0) | 2023.01.14 |
---|---|
[Spark] List로 pyspark dataframe 만드는 방법 (0) | 2023.01.14 |
[Spark] pandas dataframe을 pyspark dataframe로 변환하는 방법 (0) | 2023.01.14 |
[Spark] Pyspark dataframe 안의 List 처리하는 방법 (0) | 2022.12.16 |
[Spark] TypeError: Can not infer schema for type: <class 'str'> 해결 방법 (0) | 2022.12.16 |