[Spark] Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

intellij 에서 Spark를 Scala로 실행하는 도중 만난 에러

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession$
	at ReadCsvGzExample$.main(ReadCsvGzExample.scala:6)
	at ReadCsvGzExample.main(ReadCsvGzExample.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession$
	at java.base/jdk.internal.loader.BuiltinClassLoader.loadClass(BuiltinClassLoader.java:581)
	at java.base/jdk.internal.loader.ClassLoaders$AppClassLoader.loadClass(ClassLoaders.java:178)
	at java.base/java.lang.ClassLoader.loadClass(ClassLoader.java:527)
	... 2 more

종료 코드 1(으)로 완료된 프로세스

 

build.sbt 에 다음을 추가했었다

// https://mvnrepository.com/artifact/org.apache.spark/spark-sql
libraryDependencies += "org.apache.spark" %% "spark-sql" % "3.5.3" % "provided"

 

알고보니 provided 스코프 때문에 발생한 에러다.

intellij의 실행/디버그 구성을 편집하자.

기존 설정은 다음과 같다.

 

변경 후는 다음과 같다.

 

확인 후 실행하면 잘 실행된다.