subtitle
  文章分类
interview 15 interview spark 3 interview flink 1 数据分析 1 大数据 7 算法 2 SQL 3 数仓 2 操作系统 1 hive 2 etl spark hdfs 1 hive解析json 1 git 1 hdfs 1 Hadoop 1 Hadoop shell 1 yarn 1 数据库范式 1 spark 4 ER模型 1 模型设计 2 模型实施 1 体系架构 2 数据建模 1 数仓建设 2 事实表 1 distribute by 和 partition by 1 parse_url 4 clickhouse 2 css 2 data-analysis 2 database 2 bigData 5 js-basics 5 数据仓库建模方法论 1 Flink 2 front-end 2 Markdown 1 blog 2 presto 1 life 2 machine-learning 3 为什么要模型建立 1 模型实践 2 operation 1 Python 3 python 1 Spark 2 分享 1 Hbase 1 spark性能优化 1 帝都 1
获取神策数据保存在hive表 获取神策数据保存在hive表
概述这两天要获取一部分神策的埋点数据保存在hive库，就尝试用pyspark写个简单的脚本获取。请求api用saprk写入hive以下是详细代码 sensor data fetch123456789101112131415161718192
2020-08-25 Spark
python Spark
使用spark(-) scala 基础 使用spark(-) scala 基础
概述团队大量使用spark操作数据，包括对数据的拉取，清洗，入库，统计等操作，为了更好的使用数据，为了做到不求人，故有这个系列的学习。我本前端出生，对于强类型的语言还是不习惯，那就一点一点的学习。 学习初期的环境搭建是必要的，例如scala
2018-01-25 Spark
scala Spark