LarkMidTable
gitHub地址: https://github.com/wxgzgl/LarkMidTable
方便推广开源产品，希望觉得不错的可以Star项目，可以加入我们一起研发！！！
中文 | English
Lark中文名称 云雀，云代表大数据，雀代表平凡和自由。
LarkMidTable 是一站式开源的数据中台，实现元数据管理，数据仓库开发，数据质量管理，数据的可视化，实现高效赋能数据前台并提供数据服务的产品。
产品愿景
1.满足许多的小企业，提供一站式的解决方案。
2.做出世界级别，能够媲美BAT大厂的产品。
3.创造价值，产生价值，让世界变得更加美好。
技术选型
| 框架名称 | 框架用途 | 主要功能 |
|---|---|---|
| Dolphin | 任务调度 | Task以DAG形式关联，实时监控任务的状态，支持Shell、MR、Spark、SQL、依赖等10多种任务类型，支持每日十万数据量级任务稳定运行 |
| Flink | 离线和实时计算框架 | Flink实现流批一体化、机器学习（FlinkML）、图分析（Gelly）、复杂事件处理（CEP）、关系数据处理（Table） |
| Hive | 数据仓库 | 将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句语句转变成MapReduce任务来执行。 |
| Kylin | 分析数据库 | Kylin 支持 SQL，Kylin 的 SQL on Hbase |
| Kafka | 消息中间件 | 应用解耦、异步处理、流量削峰、日志处理、消息通信 |
| Kubernetes | 容器部署 | 重新启动失败的容器、弹性伸缩、服务的自动发现和负载均衡、滚动升级和一键回滚 |
| Zookeeper | 分布式协调服务 | 统一命名服务、配置管理、集群管理、队列管理 |
产品架构图
目前支持的数据库
| 数据库类型 | 读取类型 | 写入类型 | |
|---|---|---|---|
| 批处理同步 | Mysql | 支持 | 支持 |
| PostgreSql | 支持 | 支持 | |
| Mongodb | 支持 | 支持 | |
| SqlServer | |||
| ClickHouse | |||
| Hive | 支持 | ||
| Hbase | 支持 | 支持 | |
| Hdfs | 支持 | 支持 | |
| ElasticSearch | |||
| Kudu | |||
| Redis | |||
| 流处理同步 | Kafka | ||
| MySQL Binlog | |||
| MongoDB Oplog | |||
| PostgreSQL WAL |
快速开始
请点击 快速开始
前端代码 前端代码
资源库 研发资源库
开发规范 唯品会开发规范
特别鸣谢
本项目在datax-web代码的基础上进行二次重构开发，在此特别感谢datax-web团队。
技术交流
搜索QQ群号[678097205]或者扫描下面的二维码进入LarkMidTable 社区的QQ群，目前正是开源的初期阶段，群里达到91人
设计关系数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余越小。
目前关系数据库有六种范式：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、巴斯-科德范式（BCNF）、第四范式(4NF）和第五范式（5NF，又称完美范式）。
各种范式之间的关系
第一范式（1NF）
在任何一个关系数据库中，第一范式（1NF）是对关系模式的基本要求，不满足第一范式（1NF）的数据库就不是关系数据库。
所谓第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。
第二范式（2NF）
第二范式（2NF）是在第一范式（1NF）的基础上建立起来的，即满足第二范式（2NF）必须先满足第一范式（1NF）。
第二范式（2NF）要求：实体的属性完全依赖于主关键字。
第三范式（3NF）
满足第三范式（3NF）必须先满足第二范式（2NF）。
第三范式（3NF）要求：任何非主属性不依赖于其它非主属性（在2NF基础上消除传递依赖）
巴斯-科德范式（BCNF）
巴斯-科德范式（BCNF）要求：任何非主属性不能对主键子集依赖（在3NF基础上消除对主码子集的依赖）
数据库设计之字段类型的选择
* 涉及到精确的金融计算入库需要使用decimal类型 
为什么一天只有24小时 TIME 能存储838小时？ 实际上Time能存储一个区间内的小时数
然后 TIME 类型 每多如下位数小数的微妙则消耗对应存储空间
数据库设计之字段类型的选择
* 涉及到精确的金融计算入库需要使用decimal类型 
为什么一天只有24小时 TIME 能存储838小时？ 实际上Time能存储一个区间内的小时数
然后 TIME 类型 每多如下位数小数的微妙则消耗对应存储空间
