Singular 在短短几天内通过 AW

Singular利用 AWS Graviton2 实现价格与性能比提升 35%

关键要点

  • Singular成功迁移Apache Druid工作负载至AWS Graviton2,平均提升价格与性能比35%。
  • 该平台在极短时间内通过高效的现代化思路和AWS原生工具实现目标。
  • 后续计划将60%的工作负载迁移至Graviton2,以持续提升成本效益和性能。

Singular是一款提供营销数据的平台,旨在通过统一的营销数据、智能洞察力和自动化推动企业增长。该平台在AWS环境中拥有超过950个虚拟服务器、8个Kubernetes集群和5拍字节的原始数据。为向客户提供最准确、及时和可操作的跨平台分析,Singular每天处理150亿个实时事件和500万批处理作业,覆盖3个AWS区域以及额外的本地资源。

随着的推出,Singular决定迁移所有相关工作负载,以优化其价格与性能比。

采用合适的现代化思维模型

在进行了一些实验、查看了AWS的可用资源并与AWS专家咨询后,我们开始构建一种稳健、可复制和可扩展的方法。”Ofir Nir , DevOps负责人

Singular的思维模型使用了一个蓝图,能够使工程师采取行动,解决FinOps从业者的一个主要关切。根据,考虑到大规模迁移,从一开始就可以在迁移到新服务或基础设施组件(例如迁移到Amazongp3 EBS、AWS Nitro SSD、Amazon EC2 M6i实例)时适用。

步骤包括:

  1. 识别相关工作负载 进行迁移(许多工作负载不需重大更改)。
  2. 创建基础构件 ,如相关的AMI、构建系统、监控代理和运行环境。
  3. 准备一个对比基础设施 ,以确保您可以衡量变更的效果。
  4. 逐步测试您的工作负载 ,从阶段环境开始,然后是类似生产环境,最终迁移到实际的生产环境。

启动项目

为了启动项目并确保利益相关者的参与,Singular在其优化API服务团队中创建了一个Hackathon项目。现有服务器是首个进行测试的重点,关注其ApacheDruid集群(由100个Amazon EC2的R和M系列实例组成,承载有状态应用程序)。基于JVM(JavaVM)的环境仅需小幅调整:使用Ubuntu20的ARM AMI、为缺失的库应用变通方案,然后通过渐进部署进行测试。

结果显示,Singular的ApacheDruid应用程序的负载平均值降低了15-20%,查询速度提升了20-25%。这促使他们决定大规模采用Graviton,并将节省下来的资金再投资于新功能。

成功衡量

迁移到Graviton2对大多数工作负载来说都很直接,但需要对之前提到的迁移思维模型保持一致:

  1. Singular列出了所有工作负载依赖关系及其在Graviton/arm64上的可用性(例如操作系统及版本、库、框架和使用的运行时)。
  2. 升级到最新版本以确保兼容性(通常可在各种Linux发行版的存储库、Amazon ECR、DockerHub、GitHub中找到)。
  3. 随后,Singular进行了A/B测试,以衡量性能提升(使用类似生产的流量进行负载测试,并测量“负载平均值”和“查询时间”)。
  4. 最后,以渐进方式将工作负载部署到生产环境(使用“金丝雀”和“滚动”部署技术的组合)。

在短短几天内,Singular完成了对其Apache Druid工作负载(约100个AmazonEC2实例,大小为24xl)的迁移,从而平均提升了35%的价格/性能比。

Singular通过KPI/单位/客户粒度的成本衡量结果并评估投资回报。通过不同的内部和AWS原生工具(如AWS成本和使用报告、AWS成本分析器)、以及第三方工具(如Finout.io),跟踪“每客户成本”、“每产品/功能成本”和“每商业上下文成本”的影响。

Singular的目标是通过比较在项目结束时有效现代化的良好工作负载候选数量,来最大化这一倡议的有效性。关键成功因素在于,由FinOps团队提供所有必要上下文,使工程师能够采取行动,包括性能影响、依赖关系和逐步指示等关键领域。

向未来展望

在成功部署Graviton2至其ApacheDruid和实时出站处理环境后,Singular计划到2022年底实现60%的工作负载在Graviton2上运行。根据Ofir的说法,Singular的Python/PostgreSQL工作负载将是下一个迁移目标。

🎞️。

关于Singular | | Singular通过AWS实现的好处

---|---|---
Singular是一款通过统一营销数据、智能洞察力和自动化来推动企业增长的营销数据平台。它捕获、分析和提炼数十亿个数据点,以向客户提供最准确、及时和可操作的跨平台分析。 | |

  • 将Apache Druid工作负载迁移至Amazon Graviton2处理器,以优化基础设施现代化和效率
  • 平均提升价格与性能比35%
  • 使用AWS原生工具跟踪、理解和报告与业务目标一致的KPI
  • 部署Amazon Graviton2后,Apache Druid和实时出站处理环境的负载平均值降低15-20%,查询速度提升20-25%

标签 :,,

Leave a Reply

Required fields are marked *