gitHub地址: https://github.com/wxgzgl/LarkMidTable
方便推广开源产品,希望觉得不错的可以Star项目,可以加入我们一起研发!!!
中文 | English
Lark中文名称 云雀,云代表大数据,雀代表平凡和自由。
LarkMidTable 是一站式开源的数据中台,实现元数据管理,数据仓库开发,数据质量管理,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。
1.满足许多的小企业,提供一站式的解决方案。
2.做出世界级别,能够媲美BAT大厂的产品。
3.创造价值,产生价值,让世界变得更加美好。
框架名称 | 框架用途 | 主要功能 |
---|---|---|
Dolphin | 任务调度 | Task以DAG形式关联,实时监控任务的状态,支持Shell、MR、Spark、SQL、依赖等10多种任务类型,支持每日十万数据量级任务稳定运行 |
Flink | 离线和实时计算框架 | Flink实现流批一体化、机器学习(FlinkML)、图分析(Gelly)、复杂事件处理(CEP)、关系数据处理(Table) |
Hive | 数据仓库 | 将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句语句转变成MapReduce任务来执行。 |
Kylin | 分析数据库 | Kylin 支持 SQL,Kylin 的 SQL on Hbase |
Kafka | 消息中间件 | 应用解耦、异步处理、流量削峰、日志处理、消息通信 |
Kubernetes | 容器部署 | 重新启动失败的容器、弹性伸缩、服务的自动发现和负载均衡、滚动升级和一键回滚 |
Zookeeper | 分布式协调服务 | 统一命名服务、配置管理、集群管理、队列管理 |
数据库类型 | 读取类型 | 写入类型 | |
---|---|---|---|
批处理同步 | Mysql | 支持 | 支持 |
PostgreSql | 支持 | 支持 | |
Mongodb | 支持 | 支持 | |
SqlServer | |||
ClickHouse | |||
Hive | 支持 | ||
Hbase | 支持 | 支持 | |
Hdfs | 支持 | 支持 | |
ElasticSearch | |||
Kudu | |||
Redis | |||
流处理同步 | Kafka | ||
MySQL Binlog | |||
MongoDB Oplog | |||
PostgreSQL WAL |
请点击 快速开始
前端代码 前端代码
资源库 研发资源库
开发规范 唯品会开发规范
本项目在datax-web代码的基础上进行二次重构开发,在此特别感谢datax-web团队。
搜索QQ群号[678097205]或者扫描下面的二维码进入LarkMidTable 社区的QQ群,目前正是开源的初期阶段,群里达到91人
设计关系数据库时,遵从不同的规范要求,设计出合理的关系型数据库,这些不同的规范要求被称为不同的范式,各种范式呈递次规范,越高的范式数据库冗余越小。
目前关系数据库有六种范式:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、巴斯-科德范式(BCNF)、第四范式(4NF)和第五范式(5NF,又称完美范式)。
在任何一个关系数据库中,第一范式(1NF)是对关系模式的基本要求,不满足第一范式(1NF)的数据库就不是关系数据库。
所谓第一范式(1NF)是指数据库表的每一列都是不可分割的基本数据项,同一列中不能有多个值,即实体中的某个属性不能有多个值或者不能有重复的属性。
第二范式(2NF)是在第一范式(1NF)的基础上建立起来的,即满足第二范式(2NF)必须先满足第一范式(1NF)。
第二范式(2NF)要求:实体的属性完全依赖于主关键字。
满足第三范式(3NF)必须先满足第二范式(2NF)。
第三范式(3NF)要求:任何非主属性不依赖于其它非主属性(在2NF基础上消除传递依赖)
巴斯-科德范式(BCNF)要求:任何非主属性不能对主键子集依赖(在3NF基础上消除对主码子集的依赖)
* 涉及到精确的金融计算入库需要使用decimal类型
为什么一天只有24小时 TIME 能存储838小时? 实际上Time能存储一个区间内的小时数
然后 TIME 类型 每多如下位数小数的微妙则消耗对应存储空间
* 涉及到精确的金融计算入库需要使用decimal类型
为什么一天只有24小时 TIME 能存储838小时? 实际上Time能存储一个区间内的小时数
然后 TIME 类型 每多如下位数小数的微妙则消耗对应存储空间