做网站日志步骤网络培训平台有哪些

背景：

   做数据质量检核任务的时候，有些数据表有数据，直接查hive执行select count(1) from table返回的值一直是0

问题原因：

   hive通过select count(1)或者select count(*) 查询的是元数据库里面的rownum,如果数据表数据是通过load、put等方式加载进去的，元数据库里面的rownum没有收集统计信息，导致数据不对。

解决：

1、hive部署的时候，开启统计功能

hive.compute.query.using.stats：该属性的默认值为false。如果设置为true，Hive在执行某些查询时，例如select count(1)，只利用元数据存储中保存的状态信息返回结果。为了收集基本状态信息，需要将hive.stats.autogather属性配置为true。为了收集更多的状态信息，需要运行analyzetable查询命令。

设置

hive.stats.autogather = true

2、临时方案

方案一：

使用analyze table来执行统计过程，datax或者flinkx同步数据，最后需要执行这个

ANALYZE TABLE tableName  COMPUTE  STATISTICS;  

这个也不是永久生效，如果执行之后，又put或者load数据量还是不对，还要再次执行这个sql

方案二：

窗口级别生效

set hive.compute.query.using.stats=false;
select count(1)  from tableName;