4月13日下午，有幸参加了 DataPipeline & Apache Rocket Meetup，听了郭斯杰和几位大咖的分享，特别有感触，所以简单回顾下。
除了斯杰的分享，meetup 中还有七位大咖，分享了 Apache RocketMQ 的发展史及其声明式运维，微软第二曲线数字化转型创新的新模式，Kafka、RocketMQ 在瓜子、VIP KID 的实践等。真可谓是大咖云集，大饱眼福。特别感谢数见科技及各个协办单位为大家提供了这么好的机会。
- 孵化 50+ 企业
- 增加 500+ 社区 contributors，把 RocketMQ 做得更加完善
- 在全球支持 50000+ 企业
- 覆盖到 5000000+ 开发者，通过城市社区聚集、培养 RocketMQ 人才，进一步完善 RocketMQ 产品。
随后他分享了 RocketMQ 在平安银行、微众银行、弘康人寿、券商和联想的案例；RocketMQ 的社区情况：开发者关系，媒体矩阵，开发者培训，社区管理，文档和布道。厉老师特别强调，RocketMQ 的文档放在 https://github.com/apache/rocketmq/tree/master/docs 目录，分为中英文目录，文档中介绍了 RocketMQ 的原理，最佳实践和 example 等。之后厉老师介绍了 RocketMQ 生态项目组（今年的重点是开发 connectors）和城市社区的理念和想法。在最后环节，他介绍了 RocketMQ 5.0 的特点：协议可插拔，存储和计算分离；在运维方面优化 console，优化周边生态，让其更易用。
2. 数据技术驱动企业六大“蝶变”：产品服务化，服务智能化，员工社会化，客户员工化，资源共享化，公司平台化。
3. 数字化转型需要建立新的商业思维，开启“第二曲线”需要刷新底层商业操作系统和认知。在这里檀老师推荐了两本书：《第二曲线：跨越“S型曲线”的第二次增长》、《刷新：重新发现商业和未来》。他以微软为案例，讲述了微软是如何通过刷新使命、刷新战略、刷新文化，经过短短四年的时间，再次走向技术巅峰。
- 刷新使命：赋能全球每一个人，每一个组织，帮助他们成就不凡；
- 建立耳目一新、出人意料的伙伴关系，共同做大蛋糕；
- 刷新文化：用“同理心”重新发现商业与未来，加强成长性思维，成为终身学习者和超级合作者。
微软从封闭转变为全世界为开源贡献最多的公司，在眼里没有竞争对手。我们向微软学习，一起拥抱开源吧，Apache Pulsar 社区热烈欢迎您～～
4. CEO 的 3C 法则：文化（culture）、能力（capabilities）、概念（concept)。微软的重生完美地揭示了企业如何冲破自我开启“第二曲线”实现成功转型。
（教育+创新）x 数字化转型强度=第二曲线增长
他介绍了微软加速器企业数字转型创新第二曲线计划，如何开启数字化创新型企业的增长模式(startup+微软校友帮助+微软研究院战略帮助)，并总结了数字化转型创新使企业有机会成为平台化的公司，升级商业模式纬度：从有边界的企业蜕化成无边界的企业。
企业数据融合平台的典型架构
- 异构：繁琐的数据源和目的地适配工作，异构数据的转换
- 动态：数据源结构随时可能发生变化，造成下游写入失败
- 扩展：受业务驱动的水平扩展和一对多分发要求，多任务并行的 QoS
- 完整：数据一致性保证，任务暂停及出错后的进度恢复
消息队列在数据融合平台中的作用：解藕、高可用、水平扩展、schema mapping、offset 管理和一致性。
随后，刘老师介绍了 DataPipeline 现有的架构，Kafka connect 的特性介绍和 offset 的管理，DataPipeline 在项目中遇到的挑战及解决方案，如何保证数据的一致性，流式框架下的批量同步事务性保证及实现细节，分库分表/多对一的实时同步，多表下的低延时。他把 Kafka Connect 与 OpenMessaging Connect 做了详细对比。
核心问题就是无状态服务和有状态服务的区别：无法同时保证一致性和可用性。
- cluster，master，node，namespace。
- labels, annotations, selectors。
- stateless workloads
- stateful and system workloads
- network access
Kubernetes 发展的很好，是因为它的扩展性特别好，能够吸引各个应用将其能力扩展在 Kubernetes 上。它的扩展点有 Devices， storage（volume），networking（CNI）和 custom API。
Kubenetes 拥有丰富的资源，从 API server 到 ETCD，API server 中包括 pod，svc，job，deploy，rs，crobjob 和 CRD。
Kubenetes 还有 custom resource definition，kubenetes controllers。
随后，王老师给大家介绍了 RocketMQ cluster topology，如何部署 RocketMQ 集群和数据的工作等。他的讲解详细而有深度，让大家进一步了解了 Kubernetes 和 RocketMQ 集群。
彭老师身兼二职，代替孙强和大家分享了瓜子实时数据 ADHOC，离线数据 ADHOC，BI 类应用等等。
我们衷心祝愿李老师的愿望能早日实现，同时也希望 Apache Pulsar 能帮助李老师尽快实现这个美好愿望～