subtitle
  文章分类
interview 15 interview spark 3 interview flink 1 数据分析 1 大数据 7 算法 2 SQL 3 数仓 2 操作系统 1 hive 2 etl spark hdfs 1 hive解析json 1 git 1 hdfs 1 Hadoop 1 Hadoop shell 1 yarn 1 数据库范式 1 spark 4 ER模型 1 模型设计 2 模型实施 1 体系架构 2 数据建模 1 数仓建设 2 事实表 1 distribute by 和 partition by 1 parse_url 4 clickhouse 2 css 2 data-analysis 2 database 2 bigData 5 js-basics 5 数据仓库建模方法论 1 Flink 2 front-end 2 Markdown 1 blog 2 presto 1 life 2 machine-learning 3 为什么要模型建立 1 模型实践 2 operation 1 Python 3 python 1 Spark 2 分享 1 Hbase 1 spark性能优化 1 帝都 1
解决Spark数据倾斜 解决Spark数据倾斜
Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势 本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代
2020-11-26 spark
spark
Spark作业运行流程 Spark作业运行流程
Spark作业运行流程Spark 作业运行流程1、Driver通过SparkContext向Cluster Manager 申请资源2、Cluster Manager分配资源、并在Worker节点上创建Executor3、SparkCont
2020-11-23 spark
spark
spark 核心概念图解 spark 核心概念图解
spark 核心概念图解 学习spark 三部曲 首先来看几个只管重要的概念，这些概念承载着Spark集群运转和程序运行的重要使命。Spark运行架构图，如图1-1所示。 1、Master 图1-1 中的 Cluster Manager
2020-11-21 spark
spark
sparksql到RDD sparksql到RDD
从SQL到RDD：一个简单的案例 从典型的Spark SQL应用场景中，数据的读取、数据表的创建和分析都是必不可少的过程。通常来讲，SQL查询所面对的数据模型以关系表为主。转自《Spark SQL内核剖析》 一个简单的案例 1234567
2020-11-02 spark
spark