LarkMidTable

gitHub地址: https://github.com/wxgzgl/LarkMidTable
方便推广开源产品,希望觉得不错的可以Star项目,可以加入我们一起研发!!!

中文 | English

Lark中文名称 云雀,云代表大数据,雀代表平凡和自由。

LarkMidTable 是一站式开源的数据中台,实现元数据管理,数据仓库开发,数据质量管理,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。

产品愿景

1.满足许多的小企业,提供一站式的解决方案。

2.做出世界级别,能够媲美BAT大厂的产品。

3.创造价值,产生价值,让世界变得更加美好。

技术选型

框架名称 框架用途 主要功能
Dolphin 任务调度 Task以DAG形式关联,实时监控任务的状态,支持Shell、MR、Spark、SQL、依赖等10多种任务类型,支持每日十万数据量级任务稳定运行
Flink 离线和实时计算框架 Flink实现流批一体化、机器学习(FlinkML)、图分析(Gelly)、复杂事件处理(CEP)、关系数据处理(Table)
Hive 数据仓库 将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句语句转变成MapReduce任务来执行。
Kylin 分析数据库 Kylin 支持 SQL,Kylin 的 SQL on Hbase
Kafka 消息中间件 应用解耦、异步处理、流量削峰、日志处理、消息通信
Kubernetes 容器部署 重新启动失败的容器、弹性伸缩、服务的自动发现和负载均衡、滚动升级和一键回滚
Zookeeper 分布式协调服务 统一命名服务、配置管理、集群管理、队列管理

产品架构图

系统架构图

目前支持的数据库

数据库类型 读取类型 写入类型
批处理同步 Mysql 支持 支持
PostgreSql 支持 支持
Mongodb 支持 支持
SqlServer
ClickHouse
Hive 支持
Hbase 支持 支持
Hdfs 支持 支持
ElasticSearch
Kudu
Redis
流处理同步 Kafka
MySQL Binlog
MongoDB Oplog
PostgreSQL WAL

快速开始

请点击 快速开始

前端代码 前端代码

资源库 研发资源库

开发规范 唯品会开发规范

特别鸣谢

本项目在datax-web代码的基础上进行二次重构开发,在此特别感谢datax-web团队。

技术交流

搜索QQ群号[678097205]或者扫描下面的二维码进入LarkMidTable 社区的QQ群,目前正是开源的初期阶段,群里达到91人

QQ群

设计关系数据库时,遵从不同的规范要求,设计出合理的关系型数据库,这些不同的规范要求被称为不同的范式,各种范式呈递次规范,越高的范式数据库冗余越小。

目前关系数据库有六种范式:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、巴斯-科德范式(BCNF)、第四范式(4NF)和第五范式(5NF,又称完美范式)。

各种范式之间的关系

在这里插入图片描述

第一范式(1NF)

在任何一个关系数据库中,第一范式(1NF)是对关系模式的基本要求,不满足第一范式(1NF)的数据库就不是关系数据库。
所谓第一范式(1NF)是指数据库表的每一列都是不可分割的基本数据项,同一列中不能有多个值,即实体中的某个属性不能有多个值或者不能有重复的属性。

第二范式(2NF)

第二范式(2NF)是在第一范式(1NF)的基础上建立起来的,即满足第二范式(2NF)必须先满足第一范式(1NF)。
第二范式(2NF)要求:实体的属性完全依赖于主关键字

第三范式(3NF)

满足第三范式(3NF)必须先满足第二范式(2NF)。
第三范式(3NF)要求:任何非主属性不依赖于其它非主属性(在2NF基础上消除传递依赖)

巴斯-科德范式(BCNF)

巴斯-科德范式(BCNF)要求:任何非主属性不能对主键子集依赖(在3NF基础上消除对主码子集的依赖)

数据库设计之字段类型的选择

在这里插入图片描述
在这里插入图片描述
* 涉及到精确的金融计算入库需要使用decimal类型 在这里插入图片描述
为什么一天只有24小时 TIME 能存储838小时? 实际上Time能存储一个区间内的小时数
然后 TIME 类型 每多如下位数小数的微妙则消耗对应存储空间在这里插入图片描述
在这里插入图片描述

数据库设计之字段类型的选择

在这里插入图片描述
在这里插入图片描述
* 涉及到精确的金融计算入库需要使用decimal类型 在这里插入图片描述
为什么一天只有24小时 TIME 能存储838小时? 实际上Time能存储一个区间内的小时数
然后 TIME 类型 每多如下位数小数的微妙则消耗对应存储空间在这里插入图片描述
在这里插入图片描述