自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(20)
  • 资源 (15)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Cloudera CDP 7 版本以及软件依赖

目录版本概述:Cloudera 7.1.4版本的软件版本:各个软件的依赖关系如下:版本差异:版本概述:在进入到CDH 7版本之后 Cloudera发布了两个发型包,一个用于运行在云上的(CDP public cloud),一个是客户自己安装的(CDP Data Center)。在2020年9月24日 之后CDP Data Center 改名为CDP Private CloudWith the recent launch of CDP Private Cloud f...

2020-11-23 21:17:34 401

原创 Cloudera CDP 7 中不支持的Hive 3 的功能

Cloudera 7中的Hive不支持的接口和功能:Unsupported InterfacesDruidHcat CLIHive CLI (replaced by Beeline)Hive ViewLLAP (available in CDP Public Cloud only)MapReduce execution engine (replaced by Tez)PigS3 (available in CDP Public Cloud only)Spark executi...

2020-11-23 12:13:16 116

原创 Impala HA

Impala的高可用:1.Haproxy2.nginx参考:http://impala.apache.org/docs/build/html/topics/impala_proxy.htmlhttps://blog.csdn.net/abyslll/article/details/88019310https://blog.csdn.net/lvtula/article/details/89886157

2020-11-23 12:04:59 46

原创 Impala 端口列表

Scope / Role Startup Flag Default Port CommentImpala Daemon --beeswax_port 21000 Port on which Beeswax client requests are served by Impala Daemons.Impala Daemon --hs2_port 21050 Port on which HiveServer2 client requests are served by Impala Daemons.Im.

2020-11-23 11:39:42 35

原创 Impala JOIN语句

支持的JOIN列表:Self-joinsInner joinsOuter joinsEquijoins and Non-EquijoinsSemi-joins:Anti-joins不支持的JOIN:不支持的JOIN:Natural joins原因: Impala不支持自然连接运算符,这是为了避免不一致或庞大的结果集。自然连接去掉了ON和USING子句,而是自动连接左表和右表中具有相同名称的所有列。对于快速发展的数据结构(如Hadoop中通常使用的数据结构),不建

2020-11-23 11:31:30 116

原创 Impala 3.2 版本以来的新特性

impala 和CDH的版本:CDH 6.3.2 impala 3.2CDP 7.1.x Impala 3.4impala 3.4 将适Impala 3版本的最后一个版本,此后社区的重点将是Impala 4 版本Impala 4 新特性:1.删除对过时操作系统(Centos6、Ubuntu14等)的支持、删除对Sentry的支持、删除对lzo的支持2.执行实例支持多线程计算Impala在IO层是多线程的,每个executor(impalad)多线程地从多个磁盘以及网络读取数据..

2020-11-23 10:47:28 245

原创 Cloudera CDH 常见的版本

    7.1.4 7.1.3 7.1.2 7.1.1 7.0.3 6.3.2 5.16.2   2020/10/14 2020/8/10 2020/6/4 2019/11/24 2019/11/12 2019/6/18   Component Version Version Version Version Version Version Ve...

2020-11-20 22:39:09 340 3

原创 Impala 性能调优和设计

优化思路:Impala中,提供了10大类优化思路和方法:1.分区2.连接查询性能考虑3.表和列信息统计4.Impala性能测试:5.基准Impala查询:6. 控制Impala的资源使用情况:7.使用Impala查询Amazon S3的文件系统。8.HDFS缓存9.执行计划和查询概况10. 数据块倾斜表分区:基于不同列值进行查询,避免大量无效信息过滤,和常规数据库分区理念一致。连接查询性能考虑:连接查询的主要类,你可以在SQL级,相对于变化的物理因素如文件格式或硬件配置。有

2020-11-19 19:40:04 123

原创 Impala 和 Hive 之间的SQL 差异

基于impala 3.2版本:概述:impala 遵循SQL-92标准,但是在内置函数上有了不少自己的扩展。由于impala和hive共享相同的metastore数据库,并且它们的表经常互换使用。impala 不支持的Hive的功能:1.函数:ovar_pop, covar_samp, corr, percentile, percentile_approx, histogram_numeric, collect_setXML 函数2.数据类型:DATE 类型和binary类

2020-11-19 19:09:41 150

原创 Impala SQL的迁移

基于 impala 3.2 版本从其他的数据库系统中迁移需要考虑如下几个方面:1.DDL和DML语句的迁移2.数据类型的适配3.SQL语句的适配4.SQL结构的双检5.SQL语句和语法的验证参考:https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_porting.htmlhttp://impala.apache.org/docs/build3x/html/topics/..

2020-11-19 17:47:35 113

原创 Impala 数值函数

1.求绝对值 ,正值,负值:ABS(numeric_type a)POSITIVE(numeric_type a)NEGATIVE(numeric_type a)NEGATIVE 等同于 -abs(a)POSITIVE 等同于 abs()2.求余数,求商:QUOTIENT(BIGINT numerator, BIGINT denominator), QUOTIENT(DOUBLE numerator, DOUBLE denominator)FMOD(DOUBLE a, DOUBL

2020-11-19 17:13:04 184

原创 Impala 聚合函数和分析函数

版本:impala 3.2impala 支持的聚合函数如下:APPX_MEDIANAVGCOUNTSUMGROUP_CONCATMAXMINNDVSTDDEV, STDDEV_SAMP, STDDEV_POPVARIANCE, VARIANCE_SAMP, VARIANCE_POP, VAR_SAMP, VAR_POPimpala支持的分析函数:Analytic functions (also known as window functions)over语句的语法:.

2020-11-19 16:29:47 275

原创 Impala 转换函数和其他函数

基于impala 3.2版本1.转换函数:CAST(expr AS type)2.数据类型判断:TYPEOF(type value)3.UUID函数select uuid() UUID;2e2e4db5-6fe3-436d-92a8-bdecc40f1ddd4.数据库的辅助信息函数:4.1 查询登录的数据库:CURREN_DATABASE()4.2.查询登录的用户:user() ,EFFECTIVE_USER() ,LOGGED_IN_USER()4.3查询版本.

2020-11-19 15:44:21 99

原创 大数据性能测试介绍

大数据性能测试的目的1.大数据组件的性能回归,在版本升级的时候,进行新旧版本的性能比对2.在新版本/新的生产环境 发布之后获取性能基线,建立可度量的参考标准,为其他测试场景或者调优过程提供对比参考3.在众多的发行版本中进行测试比对,为PoC测试提供参考数据4.支持POC测试,得出结论,到时候可以根据业务模型和需求,或者根据客户需求 选择不同的方案。5.在客户方进行性能测试,达到客户要求的性能标准满足客户使用的需求。性能测试的时机:1.上线新版本2.上线新的环境/新的主机3.开

2020-11-19 10:11:59 173

原创 Impala 条件函数

支持的条件函数列表:CASECASE2COALESCEDECODEIFIFNULLISFALSEISNOTFALSEISNOTTRUEISNULLISTRUENONNULLVALUENULLIFNULLIFZERONULLVALUENVLNVL2ZEROIFNULL1.条件判断2.NULL处理3.TRUE FALSE 处理4.NULL ZERO处理参考:http://impala.apache.org/docs/build/html/topic.

2020-11-19 00:40:06 135

原创 Impala JSON函数

在impala 6.3 版本中加入JSON解析函数,此前的版本则没有提供JSON解析函数需要自己编译安装。The following characters are supported in the selector JSON path:$ : Denotes the root object. : Denotes the child operator[] : Denotes the subscript operator for array* : Denotes the wildcard for

2020-11-19 00:30:41 229

原创 Impala 字符串函数详解

impala 3.2版本参考:https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_string_functions.htmlhttp://impala.apache.org/docs/build/html/topics/impala_string_functions.html#string_functions__ascii

2020-11-19 00:17:42 455

原创 Impala 日期时间函数详解

基于impala 3.2 版本时间的基本单元 time_unityear 年month 月week 周day 日hour 小时minute 分钟 秒 second毫秒 Millisecond (us) 0.0001 s 1/10^3 s微妙 Microsecond (μs) 0.000001 s 1/10^6 s纳秒 Nanosecond (ns) 0.000000001 s 1/10^9 s 此外还有一些时间单元季度 qu.

2020-11-18 22:31:13 373

原创 Clickhouse 生成日历表

clickhouse的 date和datetime的时间范围目前只支持[1970-01-01 00:00:00, 2105-12-31 23:59:59].创建表calender ,一个字段用于存储日期即可。create table calender(date_dt datetime) engine=Log;CREATE TABLE default.calender_details( `date_dt` DateTime COMMENT '日期 2016-01-01 00:00..

2020-11-07 00:52:19 192 2

原创 Clickhouse CTE 支持

从clickhouse 20.3.30版本开始支持标准SQL的部分with语句的写法 即支持CTE(common table expressionn)SELECT version()┌─version()──┐│ 20.10.3.30 │└────────────┘-- 子查询CDP01.example.com :) with a as (select number from system.numbers limit 10) select * from a;WITH a AS

2020-11-07 00:44:03 149

DB2数据库实践基础教程PDF

DB2数据库实践基础教程 PDF 学习辅导资料

2011-09-22

Professional VMware Server.pdf

Professional VMware Server.pdf 英文版

2011-09-06

Hadoop权威指南(第2版)

Hadoop权威指南(第2版) hadoop

2011-06-20

CCNP ROUTE 642-902 Quick Reference.pdf

CCNP_ROUTE_642-902_Quick_Reference

2010-05-19

CCNP_TSHOOT_642-832_Quick_Reference.pdf

CCNP_TSHOOT_642-832_Quick_Reference.pdf

2010-05-19

RHCE253 红帽认证教材

RHCE253 红帽认证教材 系统服务配置部分

2010-04-06

RHCE033 红帽认证教材

RHCE033 红帽认证教材 红帽认证基础部分

2010-04-06

RHCE 133 红帽认证教材

RHCE 133 红帽认证教材 系统管理部分

2010-04-06

Tricks every ClickHouse designer should know.pdf

Tricks every ClickHouse designer should know,压缩,自动删除,物化视图,备份,维度变化,多表join等

2020-08-05

DTCC2019 PPT合集.txt

DTCC 2019年PPT合集,包含所有公开的PPT,含新近公开的第九专场。由于2019的文件较大,全部文件压缩之后也近600M,而上传文件有限制,放置一个超链接,请谅解!

2019-05-23

kubernetes in the enterprise

kubernetes in the enterprise 1. An Introduction to Containers and Kubernetes 2. Fundamental Kubernetes Topics 3. Advanced Kubernetes Topics 4. Introducing Our Production Application 5. Continuous Delivery 6. Enterprise Application Operations 7. Cluster Operations and Hybrid Cloud 8. Contributor Experience 9. The Future of Kubernetes

2018-10-15

Oracle SQL Revealed

Apress Oracle SQL Revealed,Executing Business Logic in the Database Engine。

2018-08-07

DTCC 2018 PPT 合集

2018 数据库中国技术大会 PPT,讨论的话题大数据和数据库。涉及的Hadoop、Flink、MySQL、oracle等共22个专场主题

2018-05-16

Pro MySQL NDB Cluster

详细描述MySQL NDB CLUSTER的安装部署应用!国际上唯一的专注书籍!

2017-11-08

MongoDB in Action, 2nd Edition

MongoDB in Action, 2nd Edition MongoDB 实战 第二版 英文版 包含最新的MongoDB3.0

2016-04-06

vkingnew的留言板

发表于 2020-01-02 最后回复 2020-04-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除