在scala中sparkSQL连接mysql并添加新数据

在Scala中使用Spark SQL连接MySQL并添加新数据，可以通过以下步骤实现：

1. 环境准备

• 确保已安装Apache Spark和MySQL。

• 下载并添加MySQL JDBC驱动到Spark的lib目录。

• 如果使用Maven项目，可以在pom.xml中添加以下依赖：

  <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>8.0.26</version>
  </dependency>

2. 创建SparkSession

创建一个SparkSession对象，这是与Spark交互的入口点：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("Spark SQL to MySQL")
  .master("local[*]") // 使用本地模式
  .getOrCreate()

3. 创建DataFrame

创建一个包含新数据的DataFrame，例如：

import spark.implicits._

val data = Seq(
  (1, "Alice", 28),
  (2, "Bob", 30),
  (3, "Charlie", 32)
)
val df = data.toDF("id", "name", "age")

4. 配置MySQL连接信息

设置连接MySQL的JDBC属性：

val jdbcUrl = "jdbc:mysql://localhost:3306/your_database" // 替换为你的数据库地址和数据库名
val jdbcProps = new java.util.Properties()
jdbcProps.setProperty("user", "your_username") // 替换为你的数据库用户名
jdbcProps.setProperty("password", "your_password") // 替换为你的数据库密码
jdbcProps.setProperty("driver", "com.mysql.cj.jdbc.Driver")

5. 将数据写入MySQL

使用DataFrame.write方法将数据写入MySQL表：

df.write
  .jdbc(jdbcUrl, "your_table", jdbcProps) // 替换为你的表名

或者使用option方法配置连接信息：

df.write
  .format("jdbc")
  .option("url", jdbcUrl)
  .option("dbtable", "your_table") // 替换为你的表名
  .option("user", "your_username") // 替换为你的数据库用户名
  .option("password", "your_password") // 替换为你的数据库密码
  .mode("append") // 使用追加模式
  .save()

6. 关闭SparkSession

完成操作后，关闭SparkSession：

spark.stop()

示例代码

以下是一个完整的示例代码，展示了如何将数据从Spark写入MySQL：

import org.apache.spark.sql.SparkSession
import spark.implicits._

object SparkMySQLExample {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("Spark SQL to MySQL")
      .master("local[*]")
      .getOrCreate()

    val data = Seq(
      (1, "Alice", 28),
      (2, "Bob", 30),
      (3, "Charlie", 32)
    )
    val df = data.toDF("id", "name", "age")

    val jdbcUrl = "jdbc:mysql://localhost:3306/your_database"
    val jdbcProps = new java.util.Properties()
    jdbcProps.setProperty("user", "your_username")
    jdbcProps.setProperty("password", "your_password")
    jdbcProps.setProperty("driver", "com.mysql.cj.jdbc.Driver")

    df.write
      .jdbc(jdbcUrl, "your_table", jdbcProps)

    spark.stop()
  }
}

通过以上步骤，你可以轻松地将数据从Spark写入MySQL数据库。