`
smileyboy2009
  • 浏览: 15123 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hive 3.x 功能介绍

阅读更多

Apache Hive 3表
使用Hive,您可以创建托管表或外部表。

在Hive 3中,Hive可以完全控制托管表。只有通过Hive才能访问和更改托管表中的数据。除临时表外,托管表是具有ACID(原子性,一致性,隔离性和持久性)属性的事务表。由于Hive可以完全控制托管表,因此Hive可以广泛地优化这些表。如果您需要绕过Hive直接在文件系统上访问数据,则可以使用外部表或存储处理程序,例如Druid或HBase。

以下矩阵列出了您可以使用Hive创建的表类型,是否支持ACID属性,所需的存储格式和密钥操作。

表类型 酸 文件格式 插入 更新/删除
管理:CRUD交易 是 ORC 是 是
托管:仅插入事务 是 任何 是 没有
管理:临时 没有 任何 是 没有
外部 没有 任何 是 是
托管表存储类型默认为优化行列(ORC)。如果通过在表创建期间未指定任何存储来接受默认值,或者如果指定ORC存储,则结果是具有插入,更新和删除(CRUD)功能的ACID表。如果指定任何其他存储类型,例如text,CSV,AVRO或JSON,则结果是仅插入ACID表。您无法更新或删除表中的列。

下表和后续部分介绍了托管(事务)表和外部表之间的其他差异:
表类型 安全 Spark访问 优化
管理(交易) 仅限游侠授权,无SBA 是的,使用Hive Warehouse Connector 统计和其他
外部 Ranger或SBA,需要HDFS中的ACL 是的,直接文件访问 有限
交易表
事务(ACID)表驻留在Hive仓库中。为了实现ACID合规性,Hive必须管理表,包括访问表数据。CRUD(创建,检索,更新和删除)表中的数据必须采用ORC文件格式。仅插入表支持所有文件格式。Hive旨在支持相对较低的事务率,而不是作为在线分析处理(OLAP)系统。您可以使用SHOW TRANSACTIONS命令列出打开和中止的事务。

Hive 3中的事务表与非ACID表相同。Hive 3事务表中不需要进行分段或排序。这些表与本机云存储兼容。

Hive支持每个事务一个语句,可以包含任意数量的行,分区或表。

外部表格
外部表数据不归Hive所有或控制。如果要使用Hive以外的工具直接在文件级别访问数据,通常使用外部表。Hive 3不支持外部表的以下功能:

 

分享到:
评论

相关推荐

    apache-hive-3.1.3-src.tar.gz

    hive 的更新操作一直是大数据仓库头痛的问题,在3.x之前也支持update,但是速度太慢,还需要进行分桶,现在hive 支持全新ACID,并且底层采用TEZ 和内存进行查询,性能是hive2的50倍。生产建议升级到hive3.1.1版本。 ...

    apache-hive-3.1.1-src.tar.gz

    hive 的更新操作一直是大数据仓库头痛的问题,在3.x之前也支持update,但是速度太慢,还需要进行分桶,现在hive 支持全新ACID,并且底层采用TEZ 和内存进行查询,性能是hive2的50倍。生产建议升级到hive3.1.1版本。 ...

    hivefs:Hive.im 云存储服务的 FUSE 文件系统。 - 仅供参考。 Hive.im 服务关闭

    荨麻疹##要求: Python 3.x ##Python 模块: 要求瘾君子保险丝(都可以通过pip安装) ##功能: 列出文件和文件夹读取文件重命名文件和文件夹将文件夹设置为“锁定”或“解锁”(chmod 700 或 744) 复制或创建新...

    hive-samples:一组示例说明 hive 的各种功能命令

    hive-samples 是一个演示 Apache Hive 各种功能的项目。 依赖关系 Apache Hadoop 2.xy Apache Hive 0.13.x 用法 克隆存储库 编辑 conf/hive-site.xml,并将 javax.jdo.option.ConnectionURL 设置为指向您选择的路径...

    2018最新高清大数据协作框架全套视频教程(Sqoop,Flume,Oozie,WEB工具Hue)

    1.02_02_01_04 使用CDH 5.3.6版本快速搭建Hadoop 2.x和Hive伪分布式环境 网页.mp4 1.02_02_01_05 Sqoop 1安装及基本使用讲解 网页.mp4 1.02_02_01_06 使用Sqoop导入数据到HDFS及本质分析 网页.mp4 1.02_02_01_07 ...

    华为HCIA-Big Data V2.0 LVC公开课培训.rar

    6.2_Hive功能与架构-Hive基本操作 第七章 Streaming分布式流计算引擎 7.1_Streaming简介-系统架构 7.2_关键特性介绍-StreamCQL介绍 第八章 Flink流计算处理和批处理平台 8.1_Flink概述-Flink原理与技术架构 8.2_...

    antlrworks-1.5.1.jar

    Antlr是一种语言识别的工具,可以用来构造领域语言。 使用antlr需要我们提前定义好识别字符流的词法规则和用于解释Token流的... 换句话说,你即使下载了antlr-x.x-complete.jar,将其添加到了CLASSPATH中,其也和an

    hadoop自动化运维工具Ambari应用实践

    主要涉及Ambari的安装部署、在Ambari下自动化部署一套hadoop3.x集群、在Ambari下扩容hadoop集群节点、在Ambari下添加Hive、hbase、spark等服务,以及如何实现hadoop集群中服务的自动化管理,还介绍了Ambari下如何...

    dpos.space:Golos、Steem、Viz、Hive 的服务

    dpos.space Steem、Golos、Viz 和 Hive 区块链服务。功能和系统要求: 编程语言 - PHP 7.0 及更高版本; 使用的库: php-graphene-node-client: 并被它使用。 parsedown: : (用于备份和配置文件)。 其余的是我的 ...

    dbeaver-ee-21.0.0-win32.x86_64

    支持几乎所有数据库,包括所有jdbc协议库、mongodb、redis、spark、hive、es等等,除内置大部分常用数据库驱动外,可以自动从maven仓库下载驱动jar包, 支持跨数据源同步数据等,还有许多其他高级功能。 官网速度...

    大数据的基础知识.pdf

    hadoop1.x和2.x的区别 HDFS YARN MapReduce Map阶段并⾏处理数据 Reduce阶段对Map处理数据的结构进⾏汇总 ⼤数据体系 名词解释 序 序 号 号 名称 名称 描述 描述 1 Sqoop Sqoop是⼀款开源的⼯具,主要⽤于在Hadoop、...

    OpenVMC:OpenVMC 视频检索框架

    5、所有节点需要安装python2.x。 6、操作节点需要安装Redhadoop Studio0.3。 7、配合hive mysql 元数据存储。 8、系统建议200G以上空闲磁盘空间 #4.安装 软件主模块无需安装,将seasbase.jar和 videoRe

    安全大数据分析框架OpenSOC.zip

    OpenSOC 主要功能包括:可扩展的接收器和分析器能够监视任何Telemetry数据源是一个扩展性很强的框架,且支持各种Telemetry数据流支持对Telemetry数据流的异常检测和基于规则实时告警通过预设时间使用Hadoop存储...

    大数据概述——精选推荐.pdf

    图计算 针对⼤规模图结构数据的处 理 Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等 查询分析计 算 ⼤规模数据的存储管理和查 询分析 Dremel、Hive、Cassandra、Impala等 七,⼤数据产业: ⼤数据产业是指...

    TA-thehive-cortex:TheHive项目中与TheHiveCortex相关的Splunk技术附加组件

    介绍 此TA允许在和Splunk之间添加交互功能。 它允许从TheHive / Cortex检索所有案例/职位信息,并使用Splunk,从搜索或从预定义的仪表板对这些实例执行操作。 所有数据类型都可以使用“文件”,但Splunk不允许轻松...

    基于大数据下的spark快速大数据分析.pdf

    3 Spark 的运行架构 在 HDFS 的环境下, Spark 采取的是 Master/Slave, 即主从架构,也就是由一个主节点来负责中央的协 调, 调度其他每个分布式节点, 其中负责中央协调的 节点就称为驱动器节点,也就是我们所说...

    数据X

    实现包括MySQL,Oracle,SqlServer,Postgre,HDFS,Hive,ADS,HBase,TableStore(OTS),MaxCompute(ODPS),DRDS等各种异种构数据源之间高效的数据同步功能。 DataX商业版本 阿里云DataWorks数据集成是DataX...

    第七章-《大数据导论》大数据处理平台.pdf

    统计分析 大数据 处理平台 … 服务封装层 业务数据 互联网数据 物联网数据 数据源 … 引擎 数 据 安 全 与 隐 私 保 护 … 基于开源系统的大数据处理平台 SparkS QL Spark Streaming MLib GraphX MapReduce Hive ...

    大数据开源框架集锦.pdf

    Ambari Hadoop平台的管理软件,具备Hadoop组件的安装、管理、运维 3 ⽂件系统 HDFS 分布式⽂件系统 4 资源调度 YARN hadoop的资源管理和作业调度系统 5 协调框架 Zookeeper 分布式协调服务,解决分布式数据⼀致性⽅...

    酷软系列-SysinternalsSuite (微软经典套装) [评价可免费]

    Version 3.x 具有强大的新 UI 增强功能和进阶的筛选功能。  Process Monitor  即时监控档案系统、登录、程序、执行绪和 DLL 活动。  ProcFeatures  这个小应用程式会描述「实体位址扩充」的处理器和 Windows ...

Global site tag (gtag.js) - Google Analytics