Singular是一款提供营销数据的平台,旨在通过统一的营销数据、智能洞察力和自动化推动企业增长。该平台在AWS环境中拥有超过950个虚拟服务器、8个Kubernetes集群和5拍字节的原始数据。为向客户提供最准确、及时和可操作的跨平台分析,Singular每天处理150亿个实时事件和500万批处理作业,覆盖3个AWS区域以及额外的本地资源。
随着的推出,Singular决定迁移所有相关工作负载,以优化其价格与性能比。
“ 在进行了一些实验、查看了AWS的可用资源并与AWS专家咨询后,我们开始构建一种稳健、可复制和可扩展的方法。” – Ofir Nir , DevOps负责人
Singular的思维模型使用了一个蓝图,能够使工程师采取行动,解决FinOps从业者的一个主要关切。根据,考虑到大规模迁移,从一开始就可以在迁移到新服务或基础设施组件(例如迁移到Amazongp3 EBS、AWS Nitro SSD、Amazon EC2 M6i实例)时适用。
步骤包括:
为了启动项目并确保利益相关者的参与,Singular在其优化API服务团队中创建了一个Hackathon项目。现有服务器是首个进行测试的重点,关注其ApacheDruid集群(由100个Amazon EC2的R和M系列实例组成,承载有状态应用程序)。基于JVM(JavaVM)的环境仅需小幅调整:使用Ubuntu20的ARM AMI、为缺失的库应用变通方案,然后通过渐进部署进行测试。
结果显示,Singular的ApacheDruid应用程序的负载平均值降低了15-20%,查询速度提升了20-25%。这促使他们决定大规模采用Graviton,并将节省下来的资金再投资于新功能。
迁移到Graviton2对大多数工作负载来说都很直接,但需要对之前提到的迁移思维模型保持一致:
在短短几天内,Singular完成了对其Apache Druid工作负载(约100个AmazonEC2实例,大小为24xl)的迁移,从而平均提升了35%的价格/性能比。
Singular通过KPI/单位/客户粒度的成本衡量结果并评估投资回报。通过不同的内部和AWS原生工具(如AWS成本和使用报告、AWS成本分析器)、以及第三方工具(如Finout.io),跟踪“每客户成本”、“每产品/功能成本”和“每商业上下文成本”的影响。
Singular的目标是通过比较在项目结束时有效现代化的良好工作负载候选数量,来最大化这一倡议的有效性。关键成功因素在于,由FinOps团队提供所有必要上下文,使工程师能够采取行动,包括性能影响、依赖关系和逐步指示等关键领域。
在成功部署Graviton2至其ApacheDruid和实时出站处理环境后,Singular计划到2022年底实现60%的工作负载在Graviton2上运行。根据Ofir的说法,Singular的Python/PostgreSQL工作负载将是下一个迁移目标。
🎞️。
---|---|---
Singular是一款通过统一营销数据、智能洞察力和自动化来推动企业增长的营销数据平台。它捕获、分析和提炼数十亿个数据点,以向客户提供最准确、及时和可操作的跨平台分析。 | |
标签 :,,
Leave a Reply