XP Blog

一生想做浪漫极客

MongoDB Sharding Commands

For details on specific commands, including syntax and examples.

addShard Definition Examples enableSharding listShards Definition Example shardCollection Definition Example addSh...

MySQL INFORMATION_SCHEMA使用

表锁、表空间、死锁、连接信息等查看

查看指定库中表的数据量和数据大小信息 SELECT TABLE_SCHEMA, TABLE_NAME, TABLE_ROWS, DATA_LENGTH + INDEX_LENGTH AS all_length FROM INFORMATION_SCHEMA.TABLES WHERE TABLE_SCHEMA = 'market_compass_v2' -- AND TABLE_NAME = ...

Spark Job Code Specification

AVC data develop specification

范围 术语和定义 排版规则 规则 建议 注释规范 规则 建议 命名规范 规则 建议 编码规范 规则 建议 其他 规则 建议 ...

Awesome Resources

A list of awesome frameworks, libraries and software.

Awesome Awesome Awesome Python Awesome Awesomeness Docker Docker —— 从入门到实践 Elasticsearch Elasticsearch权威指南(中文版) Git ...

Spark Configuration Translation

for latest

Spark Properties Dynamically Loading Spark Properties Viewing Spark Properties Available Properties Application Properties Runtime Environment ...

Spark应用程序调优

Tuning Spark Applications

原文链接Tuning Spark Applications。 文中措词未加详细斟酌,望见谅。 这个主题描述了各方面Spark应用程序调优的方法。在调试的过程中,你应该同时监控你的应用程序的行为以便知晓调优操作的结果是否有效。 更多的关于Spark应用程序监控的方法,详情Monitoring Spark Applications。 继续阅读: Shuffle Ove...

Spark并行访问S3

使用AWS SDK并行访问S3的数据

使用SDK访问AWS服务。 Importing the BOM <dependencyManagement> <dependencies> <dependency> <groupId>com.amazonaws</groupId> <artifactId>aws-java-s...

如何在Oozie中配置Java邮件发送任务

使用Java调用Http请求发送邮件

在Oozie中配置Workflow时,针对任务处理的每一步,当任务失败后,失败的节点应流向邮件发送节点,即时发送邮件通知Workflow负责人进行处理。 配置截图 参数说明 任务的名称:avc_dis_plat_trend_daily-send-email(Workflow名称-任务名称) 执行的Jar路径:/user/avc_spark_etl/bin/etl-u...

AVCData数据开发及配置规范

如何开发、配置Spark Job任务

此处主要说明AVCData数据开发人员在对数据任务进行开发和配置(当前针对通用数据ETL任务)时应当遵循的共同开发规范,若有问题,可与大家协商解决。 项目依赖管理 使用Maven作为依赖管理工具,即新建Spark工程为Maven工程。 对于CDH发布包里包含的组件,使用对应版本的Artifact版本,现生产的版本为CDH-5.7.0,以spark-core包为例,则相应的...

AVCData通用HiveQL执行工具使用说明

如何实现Spark SQL数据抽取配置化

此工具主要实现了通过执行Hive SQL,将SQL执行后的结果导入至支持JDBC的RDBMS中。 支持的命令行参数及格式 usage: Spark4HiveQLExecutor -b,--batch <batch> Use batch mode for ...