4月13日下午,有幸参加了 DataPipeline & Apache Rocket Meetup,听了郭斯杰和几位大咖的分享,特别有感触,所以简单回顾下。
除了斯杰的分享,meetup 中还有七位大咖,分享了 Apache RocketMQ 的发展史及其声明式运维,微软第二曲线数字化转型创新的新模式,Kafka、RocketMQ 在瓜子、VIP KID 的实践等。真可谓是大咖云集,大饱眼福。特别感谢数见科技及各个协办单位为大家提供了这么好的机会。
- 孵化 50+ 企业
- 增加 500+ 社区 contributors,把 RocketMQ 做得更加完善
- 在全球支持 50000+ 企业
- 覆盖到 5000000+ 开发者,通过城市社区聚集、培养 RocketMQ 人才,进一步完善 RocketMQ 产品。
随后他分享了 RocketMQ 在平安银行、微众银行、弘康人寿、券商和联想的案例;RocketMQ 的社区情况:开发者关系,媒体矩阵,开发者培训,社区管理,文档和布道。厉老师特别强调,RocketMQ 的文档放在 https://github.com/apache/rocketmq/tree/master/docs 目录,分为中英文目录,文档中介绍了 RocketMQ 的原理,最佳实践和 example 等。之后厉老师介绍了 RocketMQ 生态项目组(今年的重点是开发 connectors)和城市社区的理念和想法。在最后环节,他介绍了 RocketMQ 5.0 的特点:协议可插拔,存储和计算分离;在运维方面优化 console,优化周边生态,让其更易用。
2. 数据技术驱动企业六大“蝶变”:产品服务化,服务智能化,员工社会化,客户员工化,资源共享化,公司平台化。
3. 数字化转型需要建立新的商业思维,开启“第二曲线”需要刷新底层商业操作系统和认知。在这里檀老师推荐了两本书:《第二曲线:跨越“S型曲线”的第二次增长》、《刷新:重新发现商业和未来》。他以微软为案例,讲述了微软是如何通过刷新使命、刷新战略、刷新文化,经过短短四年的时间,再次走向技术巅峰。
- 刷新使命:赋能全球每一个人,每一个组织,帮助他们成就不凡;
- 建立耳目一新、出人意料的伙伴关系,共同做大蛋糕;
- 刷新文化:用“同理心”重新发现商业与未来,加强成长性思维,成为终身学习者和超级合作者。
微软从封闭转变为全世界为开源贡献最多的公司,在眼里没有竞争对手。我们向微软学习,一起拥抱开源吧,Apache Pulsar 社区热烈欢迎您~~
4. CEO 的 3C 法则:文化(culture)、能力(capabilities)、概念(concept)。微软的重生完美地揭示了企业如何冲破自我开启“第二曲线”实现成功转型。
(教育+创新)x 数字化转型强度=第二曲线增长
他介绍了微软加速器企业数字转型创新第二曲线计划,如何开启数字化创新型企业的增长模式(startup+微软校友帮助+微软研究院战略帮助),并总结了数字化转型创新使企业有机会成为平台化的公司,升级商业模式纬度:从有边界的企业蜕化成无边界的企业。
企业数据融合平台的典型架构
- 异构:繁琐的数据源和目的地适配工作,异构数据的转换
- 动态:数据源结构随时可能发生变化,造成下游写入失败
- 扩展:受业务驱动的水平扩展和一对多分发要求,多任务并行的 QoS
- 完整:数据一致性保证,任务暂停及出错后的进度恢复
消息队列在数据融合平台中的作用:解藕、高可用、水平扩展、schema mapping、offset 管理和一致性。
随后,刘老师介绍了 DataPipeline 现有的架构,Kafka connect 的特性介绍和 offset 的管理,DataPipeline 在项目中遇到的挑战及解决方案,如何保证数据的一致性,流式框架下的批量同步事务性保证及实现细节,分库分表/多对一的实时同步,多表下的低延时。他把 Kafka Connect 与 OpenMessaging Connect 做了详细对比。
核心问题就是无状态服务和有状态服务的区别:无法同时保证一致性和可用性。
- cluster,master,node,namespace。
- labels, annotations, selectors。
- stateless workloads
- stateful and system workloads
- network access
Kubernetes 发展的很好,是因为它的扩展性特别好,能够吸引各个应用将其能力扩展在 Kubernetes 上。它的扩展点有 Devices, storage(volume),networking(CNI)和 custom API。
Kubenetes 拥有丰富的资源,从 API server 到 ETCD,API server 中包括 pod,svc,job,deploy,rs,crobjob 和 CRD。
Kubenetes 还有 custom resource definition,kubenetes controllers。
随后,王老师给大家介绍了 RocketMQ cluster topology,如何部署 RocketMQ 集群和数据的工作等。他的讲解详细而有深度,让大家进一步了解了 Kubernetes 和 RocketMQ 集群。
彭老师身兼二职,代替孙强和大家分享了瓜子实时数据 ADHOC,离线数据 ADHOC,BI 类应用等等。
我们衷心祝愿李老师的愿望能早日实现,同时也希望 Apache Pulsar 能帮助李老师尽快实现这个美好愿望~