from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType
spark = SparkSession \
.builder \
.master('local') \
.appName('my_pyspark_app') \
.getOrCreate()
data = [
("kim", 100),
("kim", 90),
("lee", 80),
("lee", 70),
('park', 60)
]
schema = StructType([ \
StructField('name', StringType(),True), \
StructField('score', IntegerType(),True)
])
df = spark.createDataFrame(data = data, schema = schema)
df.printSchema()
df.show()
'Data Engineering > Spark' 카테고리의 다른 글
[Spark] pyspark dataframe 컬럼을 이용해 연산하는 방법 (0) | 2023.01.14 |
---|---|
[Spark] pyspark dataframe을 원하는 열로 groupby 하는 방법 (0) | 2023.01.14 |
[Spark] Row 함수를 이용해서 Pyspark dataframe 만드는 방법 (0) | 2023.01.14 |
[Spark] pandas dataframe을 pyspark dataframe로 변환하는 방법 (0) | 2023.01.14 |
[Spark] Pyspark dataframe 안의 List 처리하는 방법 (0) | 2022.12.16 |