公告:

这里写图片描述

  max 
  这里写图片描述

  这里面比较复杂的是以下两个方法, 
agg,该方法和下面介绍的类似,可以用于对指定字段进行聚合操作。

pivot

6、distinct

(1)distinct:返回一个不包含重复记录的DataFrame 
  返回当前DataFrame中不重复的Row记录。该方法和接下来的dropDuplicates()方法不传入指定字段时的结果相同。 
  示例:

jdbcDF.distinct()1

  结果, 
  这里写图片描述

(2)dropDuplicates:根据指定字段去重 
  根据指定字段去重。类似于select distinct a, b操作 
  示例:

jdbcDF.dropDuplicates(Seq("c1"))1

  结果: 
  这里写图片描述

7、聚合

  聚合操作调用的是agg方法,该方法有多种调用方式。一般与groupBy方法配合使用。 
  以下示例其中最简单直观的一种用法,对id字段求最大值,对c4字段求和。

jdbcDF.agg("id" -> "max", "c4" -> "sum")1

  结果: 
  这里写图片描述

时间:3年前 (2017/10/04) / 阅读:438 / 评论:0

DataFrame操作大全