XP Blog

一生想做浪漫极客

Spark Job Code Specification

AVC data develop specification

范围 术语和定义 排版规则 规则 建议 注释规范 规则 建议 命名规范 规则 建议 编码规范 规则 建议 其他 规则 建议 ...

Awesome Resources

A list of awesome frameworks, libraries and software.

Awesome Awesome Awesome Python Awesome Awesomeness Docker Docker —— 从入门到实践 Elasticsearch Elasticsearch权威指南(中文版) Git ...

Spark Configuration Translation

for latest

Spark Properties Dynamically Loading Spark Properties Viewing Spark Properties Available Properties Application Properties Runtime Environment ...

Spark应用程序调优

Tuning Spark Applications

原文链接Tuning Spark Applications。 文中措词未加详细斟酌,望见谅。 这个主题描述了各方面Spark应用程序调优的方法。在调试的过程中,你应该同时监控你的应用程序的行为以便知晓调优操作的结果是否有效。 更多的关于Spark应用程序监控的方法,详情Monitoring Spark Applications。 继续阅读: Shuffle Ove...

Spark并行访问S3

使用AWS SDK并行访问S3的数据

使用SDK访问AWS服务。 Importing the BOM <dependencyManagement> <dependencies> <dependency> <groupId>com.amazonaws</groupId> <artifactId>aws-java-s...

如何在Oozie中配置Java邮件发送任务

使用Java调用Http请求发送邮件

在Oozie中配置Workflow时,针对任务处理的每一步,当任务失败后,失败的节点应流向邮件发送节点,即时发送邮件通知Workflow负责人进行处理。 配置截图 参数说明 任务的名称:avc_dis_plat_trend_daily-send-email(Workflow名称-任务名称) 执行的Jar路径:/user/avc_spark_etl/bin/etl-u...

AVCData数据开发及配置规范

如何开发、配置Spark Job任务

此处主要说明AVCData数据开发人员在对数据任务进行开发和配置(当前针对通用数据ETL任务)时应当遵循的共同开发规范,若有问题,可与大家协商解决。 项目依赖管理 使用Maven作为依赖管理工具,即新建Spark工程为Maven工程。 对于CDH发布包里包含的组件,使用对应版本的Artifact版本,现生产的版本为CDH-5.7.0,以spark-core包为例,则相应的...

AVCData通用HiveQL执行工具使用说明

如何实现Spark SQL数据抽取配置化

此工具主要实现了通过执行Hive SQL,将SQL执行后的结果导入至支持JDBC的RDBMS中。 支持的命令行参数及格式 usage: Spark4HiveQLExecutor -b,--batch <batch> Use batch mode for ...

如何创建多说自定义二级域名

How to create site for duo shuo

在多说中注册二级域名,可以嵌入多说通用HTML代码实现文章的评论、转发功能。 多说是一款追求极致体验的社会化评论框,可以用微博、QQ、人人、豆瓣等帐号登录并评论。可以实现最新评论、热评文章、导入数据、反向同步等功能,支持评论的统计分析等。 创建站点,获取多说二级域名 在开发者体验中心,通过创建站点获取通用代码注册个人站点信息,建议二级域名与自己的github用户...

使用Sublime批量替换文件内容

Replace content for batch

一般在Linux下会使用sed命令来批量处理文件,这里我们在Mac下使用Sublime进行批量文件替换。 使用Shift+Command+F命令调出替换窗口(Find->Find in files...) 在Find输入框中输入需要被替换的字符串(Option+Command+R可开启或关闭正则表达式模式匹配) 在Where输入框的最右选择你需要处理的文件夹 ...