SparkSQL（8）：DataSet和DataFrame区别和转换

1.概念：

（1）DataSet和RDD

大数据的框架许多都要把内存中的数据往磁盘里写，所以DataSet取代rdd和dataframe。因为，现阶段底层序列化机制使用的是java的或者Kryo的形式。但是，java序列化出来的数据很大，影响存储Kryo对于小数据量的处理很好，但是数据量一大，又会出现问题，所以官方的解决方法是使用自定义的编码器（Encoder）去序列化

（2）DataSet和DataFrame

DataSet跟DataFrame还是有挺大区别的，DataFrame开发都是写sql，但是DataSet是使用类似RDD的API。所以可以理解成DataSet就是存了个数据类型的RDD

2.DataSetDataFrameRDD的区别：

（1）相同点： 都是分布式数据集 DataFrame底层是RDD，但是DataSet不是，不过他们最后都是转换成RDD运行 DataSet和DataFrame的相同点都是有数据特征、数据类型的分布式数据集(schema) （2）不同点： （a）schema信息： RDD中的数据是没有数据类型的 DataFrame中的数据是弱数据类型，不会做数据类型检查 虽然有schema规定了数据类型，但是编译时是不会报错的，运行时才会报错 DataSet中的数据类型是强数据类型 （b）序列化机制： RDD和DataFrame默认的序列化机制是java的序列化，可以修改为Kyro的机制 DataSet使用自定义的数据编码器进行序列化和反序列化

3.创建方式：

（1）要使用toDS之前

import sqlContext.implicits._

（2）将内存中的数据转换成DataSet

// Encoders for most common types are automatically provided by importing 
sqlContext.implicits._
val ds = Seq(1, 2, 3).toDS()
ds.map(_ + 1).collect() // Returns: Array(2, 3, 4)

其中： collect()：返回一个Array，包含所有行信息 Returns an array that contains all rows in this Dataset.

（3）可以直接把case class对象转化成DataSet

    // Encoders are also created for case classes.
    case class Person(name: String, age: Long)
    val ds = Seq(Person("Andy", 32)).toDS()

（4）将DataFrame转换成DataSet，不过要求是DataFrame的数据类型必须是case class

并且要求DataFrame的数据类型必须和case class一致（顺序也必须一致）

4.代码

package _0729DF
import org.apache.spark
import org.apache.spark.sql.{Dataset, SparkSession}
//import  org.apache.spark


/**
  * 
  */
object Dataset extends App{
//  import spark.implicits._
//
//  val ds = Seq(1, 2, 3).toDS()
//  ds.map(_ + 1).collect() // Returns: Array(2, 3, 4)
//
//
//  // Encoders are also created for case classes.
//  case class Person(name: String, age: Long)
//  val ds = Seq(Person("Andy", 32)).toDS()
//  ds.show


  val session = SparkSession.builder()
    .appName("app")
    .master("local")
    .getOrCreate()

  val sqlContext = session.sqlContext
  val wcDs = sqlContext.read.textFile("datas/halibote.txt")

  // 导入隐式转换
  import session.implicits._
  val wordData=wcDs.flatMap(_.split(" "))
  wordData.createTempView("t_word")

  wordData.show()
  //wordData.printSchema()

  // Encoders for most common types are automatically provided by importing sqlContext.implicits._
  val ds=Seq(1,2,3).toDS()
  ds.map(_ + 1).collect() // Returns: Array(2, 3, 4)

//  // Encoders are also created for case classes.
//  case class Person(name: String, age: Long)
//  val ds = Seq(Person("Andy", 32)).toDS()


  // DataFrames can be converted to a Dataset by providing a class. Mapping will be done by name.
  case class Person(age:Long,name:String)
  val path = "datas/people.json"
  val people: Dataset[Person] = sqlContext.read.json(path).as[Person]
  people.show()


}