【信息科学与工程学】【数据科学】数据科学领域 第十二篇 大数据主要算法02
Apache Spark 函数、参数、算法及跨领域技术整合
一、Apache Spark 核心函数分类与参数列表
1. 转换操作(Transformations)函数
| 函数类别 | 函数名称 | 参数列表 | 用途 | 返回类型 | 是否惰性执行 |
|---|---|---|---|---|---|
| 映射函数 | map | f: T => U, preservesPartitioning: Boolean = false | 对每个元素应用函数 | RDD[U] | 是 |
| 扁平映射 | flatMap | f: T => TraversableOnce[U] | 对每个元素应用函数并扁平化结果 | RDD[U] | 是 |
| 过滤 | filter | f: T => Boolean | 过滤满足条件的元素 | RDD[T] | 是 |
| 映射分区 | mapPartitions | f: Iterator[T] =&g |
© 版权声明
文章版权归作者所有，未经允许请勿转载。
