LarkMidTable

gitHub地址: https://github.com/wxgzgl/LarkMidTable
方便推广开源产品,希望觉得不错的可以Star项目,可以加入我们一起研发!!!

中文 | English

Lark中文名称 云雀,云代表大数据,雀代表平凡和自由。

LarkMidTable 是一站式开源的数据中台,实现元数据管理,数据仓库开发,数据质量管理,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。

产品愿景

1.满足许多的小企业,提供一站式的解决方案。

2.做出世界级别,能够媲美BAT大厂的产品。

3.创造价值,产生价值,让世界变得更加美好。

技术选型

框架名称 框架用途 主要功能
Dolphin 任务调度 Task以DAG形式关联,实时监控任务的状态,支持Shell、MR、Spark、SQL、依赖等10多种任务类型,支持每日十万数据量级任务稳定运行
Flink 离线和实时计算框架 Flink实现流批一体化、机器学习(FlinkML)、图分析(Gelly)、复杂事件处理(CEP)、关系数据处理(Table)
Hive 数据仓库 将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句语句转变成MapReduce任务来执行。
Kylin 分析数据库 Kylin 支持 SQL,Kylin 的 SQL on Hbase
Kafka 消息中间件 应用解耦、异步处理、流量削峰、日志处理、消息通信
Kubernetes 容器部署 重新启动失败的容器、弹性伸缩、服务的自动发现和负载均衡、滚动升级和一键回滚
Zookeeper 分布式协调服务 统一命名服务、配置管理、集群管理、队列管理

产品架构图

系统架构图

目前支持的数据库

数据库类型 读取类型 写入类型
批处理同步 Mysql 支持 支持
PostgreSql 支持 支持
Mongodb 支持 支持
SqlServer
ClickHouse
Hive 支持
Hbase 支持 支持
Hdfs 支持 支持
ElasticSearch
Kudu
Redis
流处理同步 Kafka
MySQL Binlog
MongoDB Oplog
PostgreSQL WAL

快速开始

请点击 快速开始

前端代码 前端代码

资源库 研发资源库

开发规范 唯品会开发规范

特别鸣谢

本项目在datax-web代码的基础上进行二次重构开发,在此特别感谢datax-web团队。

技术交流

搜索QQ群号[678097205]或者扫描下面的二维码进入LarkMidTable 社区的QQ群,目前正是开源的初期阶段,群里达到91人

QQ群