clickhouse数据处理_clickhouse 明细记录_cxscode
創建库
CREATE/ATTACH DATABASE user_log ENGINE = Ordinary;
ATTACH 也会建库,是metadata导航下不是出现.sqlzip档案,大部分主要用于metadata元数据报告sqlzip档案删掉除后,可以恢复库表组成用到
建表
CREATE TABLE log_db.event_log
(
`ename` String,
`app_id` UInt64,
`channel` String,
`source` String,
`platform` String,
`openid` String,
`order_id` String,
`server_id` String,
`server_name` String,
`imei` String,
`oaid` String,
`idfa` String,
`system` String,
`device_name` String,
`role_id` String,
`role_name` String,
`role_level` UInt64,
`ip` IPv4,
`amount` Float32,
`pay_type` UInt64 DEFAULT 0,
`product_id` String DEFAULT '',
`product_name` String DEFAULT '',
`logday` Date,
`logtime` DateTime
) ENGINE = MergeTree() PARTITION BY toYYYYMM(logtime) ORDER BY (app_id, logtime) SETTINGS index_granularity = 8192
调用字符
ALTER TABLE event_log ADD COLUMN `to_app_id` UInt64;
ALTER TABLE t_event_log ADD COLUMN `to_openid` String;
# 修改游戏数据类型
alter table user modify column user_name Nullable(String);
# 删除字段
alter table youi_log_db.t_event_log drop column pay_mode;
删了统计数据
ALTER TABLE log_db.event_log DELETE WHERE ename = 'login'
系统更新数据分析(未测试软件)
ALTER TABLE <table_name> UPDATE col1 = expr1, ... WHERE <filter>
注意:
1. 该命令必须在版本号大于1.1.54388才可以使用,适用于 mergeTree 引擎
举例:
:) select event_status_key, count(*) from test_update where event_status_key in (0, 22) group by event_status_key;
┌─event_status_key─┬──count()─┐
│ 0 │ 17824710 │
│ 22 │ 1701 │
└──────────────────┴──────────┘
:) ALTER TABLE test_update UPDATE event_status_key=0 where event_status_key=22;
0 rows in set. Elapsed: 0.067 sec.
:) select event_status_key, count(*) from test_update where event_status_key in (0, 22) group by event_status_key;
┌─event_status_key─┬──count()─┐
│ 0 │ 17826411 │
└──────────────────┴──────────┘
① 检索列不能够实行创新
:) ALTER TABLE test_update UPDATE event_key = 41 WHERE event_key = 40;
?
Received exception from server (version 18.12.17):
Code: 420. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Cannot UPDATE key column `event_key`.
② 分布式表不能进行更新
Received exception from server (version 18.12.17):
Code: 48. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Mutations are not supported by storage Distributed.
ALTER TABLE UPDATE/DELETE不支持分布式DDL,因此需要在分布式环境中手动在每个节点上local的进行更新/删除数据。
1.CK中添加列:ALTER TABLE 表名称 ON 集群名称 ADD COLUMN 列名称 类型 DEFAULT 注解
eg:ALTER TABLE 表名称 ON 集群名称 ADD COLUMN lvl Int32 DEFAULT 'lvl'
2.CK中修改注释:alter table 表名称 ON 集群名称 COMMENT COLUMN 列名称 注解;
alter table adm_sch_d05_content_live_service_di_local ON 集群名称 COMMENT COLUMN `pv_sid` 'lvl';
3.CK中修改数据类型:ALTER table adm_sch_d05_content_live_service_di_local on 集群名称 MODIFY COLUMN `ord_dt` String;
ALTER table 表名称 ON 集群名称 MODIFY COLUMN 列名称 数据类型;
ALTER table adm_sch_d05_content_live_service_di on 集群名称 MODIFY COLUMN `ord_dt` String;
4.CK中删除列??alter table 表名称 ON 集群名称?drop column 列名称;
ALTER table adm_sch_d05_content_live_service_di_local on 集群名称? drop column `pv_sid`;
注意问题:
不可以修改列名称,CK中不支持修改列名称。
hive表中的日期为String类型到CK中不可以转为Date,会报错。必须为Sting.
CREATE TABLE tmp ENGINE = MergeTree ORDER BY id AS SELECT * FROM mysql('hostip:3306','db','table','user','passwd');
- 前一个篇:Spark 部署 Standalone 模式_cpuCode
- 下写一篇:返回列表
皇冠新体育APP相关的文章
- 云计算实验3 基于Scala编程语言的Spark数据预处理实验_Mr.NeoJeep_spark实验scala语言编程
- 大数据专题-spark mysql python爬虫携程景点爬取(含虚拟机镜像)_qq_31293575_spark框架爬虫
- 皇冠新体育APP:Hadoop,Spark,Tez的区别与联系_Fang GL_tez spark
- 皇冠新体育APP:Spark详解_毫无感情的dj_spark详解
- TPM零知识学习十四 ?? TPM规范学习之规范指南_蓝天居士
- spark on yarn 的执行过程以及日志分析_骑着蜗牛向前跑_spark on yarn 运行中的日志
- 皇冠新体育APP:迎接新年,暂且用皇冠新体育APP绘制几个中国结吧_kaKA-小圆
- 皇冠新体育APP:【web安全】??web渗透的前缀知识_Demo不是emo
- 皇冠新体育APP:【微服务】SpringCloud中OpenFeign请求处理及负载均衡流程_卡布奇诺-海晨
- 皇冠新体育APP:炸裂!速度百倍提升,高性能 皇冠新体育APP 编译器 Codon 火了!_皇冠新体育APP妙妙屋
- 【技术评论】大数据时代,区块链如何解决数据安全和隐私问题_BSV区块链
- T113_PRO-S3_GPS解析_衾许°
- Spring Boot 3.0.0 GA版本正式发布,期待已久的SpringBoot3发布了_MateCloud微服务_springboot现在什么版本
- 皇冠新体育APP:使用缓存保护MySQL_JavaEdge.
- Feign 应用之 RequestInterceptor 拦截器,超实用指南_柏油
- Scala配置和Spark配置以及Scala一些函数的用法(附带词频统计实例)_Icy Hunter_scala spark 使用