from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType
spark = SparkSession \
.builder \
.master('local') \
.appName('my_pyspark_app') \
.getOrCreate()
data = [
('kim', 100),
('kim', 90),
('lee', 80),
('lee', 70),
('park', 60)
]
schema = ['name', 'score']
df = spark.createDataFrame(data = data, schema = schema)
df.printSchema()
df.show()
data = [
('kim', 100),
('kim', 90),
('lee', 80),
('lee', 70),
('park', 60)
]
schema = StructType([
StructField('name', StringType(), True),
StructField('score', IntegerType(), True)
])
df = spark.createDataFrame(data = data, schema = schema)
df.printSchema()
df.show()
'Data Engineering > Spark' 카테고리의 다른 글
[Spark] conda로 pyspark 환경 구축하기 (0) | 2023.01.14 |
---|---|
[Spark] ValueError: field score: This field is not nullable, but got None (0) | 2023.01.14 |
[Spark] pyspark dataframe 의 특정 열을 list로 만드는 방법 (0) | 2023.01.14 |
[Spark] pyspark dataframe을 리스트로 만드는 가장 좋고 빠른 방법 (0) | 2023.01.14 |
[Spark] pyspark dataframe 특정 컬럼(열)만 출력하는 방법 (0) | 2023.01.14 |