将 Petabyte 级数据仓库从 Actian Vectorwise 迁移至 Amazon Redshift

关键要点：

Amazon Redshift 是一款快速、可扩展且完全托管的云数据仓库，能够处理复杂的 SQL 分析工作负载，支持结构化和半结构化数据的运行。它还使您能够以最小的移动或复制方式，安全地访问操作数据库、数据湖或第三方数据集。成千上万的客户使用 Amazon Redshift 处理大量数据，推动数据分析工作负载的现代化，提供业务用户所需的洞察。

在本文中，我们将讨论一家金融服务行业客户如何通过将本地 Actian Vectorwise 数据仓库迁移至 Amazon Redshift，从而实现可扩展性、弹性和可用性。

挑战

该客户的用例需要一个高性能、高可用性和可扩展的数据仓库，以便在低延迟环境中处理大数据集的查询。客户的 Actian Vectorwise 系统最初是为了替代 Excel 插件和股票筛选器，后来发展成一个更庞大的投资组合分析解决方案，使用多个 API 集群在本地运行，服务全球一些最大的金融服务公司。由于其产品的成功，客户见证了 30 的年度使用增长，随之而来的高性能和可扩展性需求也不断增加。客户需要应对增加的读取请求量，但在数据中心部署额外硬件变得十分困难。此外，客户还受到要求将关键业务产品迁移至云解决方案的强制性要求。

客户面临以下挑战：

传统架构

客户的平台是一次性、批量和内容处理的主要来源，支持多个企业用例，包括 API 数据源、内容管理和分析接口。它也是公司内部进行实体筛选、即时聚合和其他复杂请求工作流的唯一战略平台。

以下是传统架构的示意图：

架构包含多个层次：

整体来看，当前架构未能优先处理工作负载，导致资源过度配置并影响了性能。

解决方案概述

Amazon Redshift 是业界领先的云数据仓库，允许使用 SQL 分析存储在数据仓库、操作数据库和数据湖中的数据，利用 AWS 设计的硬件和机器学习ML提供最佳的性价比。

Amazon Redshift 设计用于高性能数据仓库，提供快速查询处理和可扩展存储，以高效处理大量数据。其列存储格式最小化 I/O，提升查询性能，从而加速数据检索过程。最后，它允许将 Amazon Redshift 与，如 Amazon S3，集成，实现对结构化和半结构化数据的全面分析。

新的解决方案架构如下图所示：

以下部分讨论了该解决方案的功能，以及如何应对传统架构的挑战。

规则引擎与 API

Amazon API Gateway 是一项完全托管的服务，帮助开发者在任意规模下交付安全、鲁棒的 API 驱动应用后端。为满足规则和路由层的可扩展性和可用性需求，我们引入了 API Gateway，用于将客户请求路由至不同的集成路径。这样的设计，使事务处理的变动量得到了有效管理。

数据存储和处理

Amazon Redshift 能帮助客户满足可扩展性和性能需求。其功能，包括工作负载管理WLM、大规模并行处理MPP架构和并发扩展等，有效地解决了增强的需求：

结合这些能力，客户得以以一种管理的方式满足可扩展性和性能需求。

数据分布

传统数据中心架构难以有效地对数据进行分区，难以高效处理读取工作负载。Amazon Redshift 的 MPP 架构则提供数据的高效分发。

运营效率与卫生

基础设施维护和运营效率始终是客户关注的问题。Amazon Redshift 作为一项完全托管的服务，负责数据仓库管理任务，降低了客户的运营成本 500，并节省了他们在创新和构建关键任务应用方面的时间。

工作负载管理

Amazon Redshift 的 WLM 能解决传统架构中的性能问题，支持创建不同优先级的 WLM 队列。通过启用短查询加速，优先处理较短的查询。此外，客户还利用查询监控规则控制不良查询，确保系统性能。

工作负载隔离

在新架构中，数据共享功能允许在不同的 Redshift 集群、安全且易访问的环境中共享实时数据，以实现工作负载隔离。

可扩展性

通过使用并发扩展和弹性调整，客户能够快速应对不可预测的高峰工作负载。

数据迁移至 Amazon Redshift

客户使用自制流程将数据从 Actian Vectorwise 提取，自存于 Amazon S3 的 CSV 文件中。随后再将数据从 Amazon S3 导入 Amazon Redshift。使用 COPY 命令，以快速和高效的方式导入数据。

在数据移入 Redshift 阶段表后，施工任务会应用增量变化到最终报告表。

以下是该工作流程示意图：

迁移的关键考虑因素

迁移本地数据仓库至 Amazon Redshift 主要有三种方式：一步法、两步法和波段迁移。在迁移过程中，为最大限度降低风险，我们选择了波段迁移的方法。通过分项目的形式完成迁移，以确保每一步成功。

在每个波段内，我们遵循一套阶段，以确保迁移顺利完成：

我们的迁移还确保没有重写传统代码，借助 SQL 可兼容性，快速将数据迁移至 Amazon Redshift。

结果

客户选择 Amazon Redshift 作为解决方案，有效处理结构化和半结构化数据，提升性能与可扩展性。通过严格测试，Amazon Redshift 表现出卓越的性能，实现了优于客户要求的响应时间，最终提升了查询性能 5。

在 AWS 迁移中，客户的运营成本降低了 500，集群的稳定性提高了 100。升级周期缩短 200。整体改善和显著的节省，使客户能够有效应对市场数据趋势，并降低总拥有成本。

结论

本文探讨了如何通过迁移至 Amazon Redshift，使一家大型金融服务客户提高性能和可扩展性，并降低运营成本。这使得客户能够扩展和引入新的工作负载，以支持其关键业务应用。

如需了解其他迁移案例，请参考以下链接：

Amazon Redshift 的前 10 大性能优化技巧BookMyShow 如何通过迁移至 AWS 现代数据架构节省 80 成本Fannie Mae 如何构建数据网架构，实现自助服务，利用 Amazon Redshift 数据共享

关于作者

Krishna Gogineni 是 AWS 的首席解决方案架构师，专注于帮助金融服务客户转型，以实现云原生架构的优势。

Dayananda Shenoy 是资深解决方案架构师，拥有 20 年设计和架构金融服务产品后台的经验。

Vishal Balani 是高级客户解决方案经理，致力于帮助金融服务客户利用云技术实现业务敏捷性和创新。

Ranjan Burman 是资深 PostgreSQL 数据库专家，专注于 RDS 和 Aurora PostgreSQL，热衷于通过云解决方案为客户提供自动化服务。

Muthuvelan Swaminathan 是企业解决方案架构师，致力于为企业客户提供建筑指导，构建可靠的创新解决方案以满足业务需求。