背景最近在任务优化的时候发现,简单的将mapreduce引擎换成spark-sql去执行,但是发现有些sql即使使用spark依然无法被优化,经过探索发现,是由于任务执行过程中产生的小文件过多导致。
小文件带来的影响首先介绍一下什么是小文件
2020-09-21