from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType
from pyspark.sql.functions import col
spark = SparkSession \
.builder \
.master('local') \
.appName('my_pyspark_app') \
.getOrCreate()
data = [
('kim', 100),
('kim', 90),
('lee', 80),
('lee', 70),
('park', 60)
]
schema = StructType([ \
StructField('name', StringType(), True), \
StructField('score', IntegerType(), True), \
])
df = spark.createDataFrame(data = data, schema = schema)
df.show()
df.select('name').show()
df.select('score').show()
'Data Engineering > Spark' 카테고리의 다른 글
[Spark] pyspark dataframe 의 특정 열을 list로 만드는 방법 (0) | 2023.01.14 |
---|---|
[Spark] pyspark dataframe을 리스트로 만드는 가장 좋고 빠른 방법 (0) | 2023.01.14 |
[Spark] pyspark dataframe 컬럼을 이용해 연산하는 방법 (0) | 2023.01.14 |
[Spark] pyspark dataframe을 원하는 열로 groupby 하는 방법 (0) | 2023.01.14 |
[Spark] List로 pyspark dataframe 만드는 방법 (0) | 2023.01.14 |