Presto

Presto 是一个开源的分布式SQL查询引擎，由Facebook开发并开源，现为Presto软件基金会管理项目。它专为交互式分析查询设计，支持对多种数据源进行高性能查询，包括Hadoop、关系型数据库、NoSQL数据库等。

概述

Presto采用主从架构，包含协调器（Coordinator）和工作节点（Worker）。其主要特点包括：

• 支持ANSI SQL标准语法
• 内存计算模型，避免MapReduce的磁盘I/O瓶颈
• 插件式连接器架构，可扩展支持多种数据源
• 支持联邦查询（跨数据源联合查询）

架构设计

Presto的架构包含以下核心组件：

graph TD A[客户端] --> B[协调器] B --> C[工作节点1] B --> D[工作节点2] B --> E[工作节点3] C --> F[数据源1] D --> G[数据源2] E --> H[数据源3]

主要组件

• 协调器：解析SQL语句、生成执行计划、调度任务
• 工作节点：执行实际查询任务
• 连接器：与底层数据源的接口适配器

功能特性

功能比较表

特性	Presto	Spark SQL	Hive	Drill
无模式查询	✓	部分	✗	部分
联邦查询	✓	✓	✗	部分
交互式查询	✓	✓	✗	部分
大规模ETL	✗	✗	✓	✓
内存计算	✓	✓	✗	✓

使用示例

基本查询

-- 从Hive表查询数据
SELECT department, AVG(salary) 
FROM hive.hr.employees
GROUP BY department;

联邦查询示例

-- 跨MySQL和PostgreSQL联合查询
SELECT c.customer_id, o.order_total
FROM mysql.sales.customers c
JOIN postgresql.orders.orders o 
  ON c.customer_id = o.customer_id;

性能优化

Presto提供多种优化技术：

• 分区裁剪：自动跳过不相关的数据分区
• 谓词下推：将过滤条件下推到数据源
• 动态过滤：运行时优化join顺序
• 资源组：查询资源隔离

数学表达式示例： $\text{查询成本}=\frac{\text{数据量}}{\text{节点数}}\times \text{复杂度系数}$

生态系统集成

Presto可与多种技术栈集成：

• Apache Hadoop生态系统
• Amazon S3/Google Cloud Storage对象存储
• Kafka实时数据流
• Redis键值存储
• Elasticsearch搜索引擎

应用场景

• 交互式数据分析：亚秒级响应时间的即席查询
• 数据湖查询：直接查询HDFS或对象存储上的原始数据
• 跨源分析：同时查询多个异构数据源
• BI工具后端：支持Tableau、Superset等可视化工具

社区与发展

Presto拥有活跃的开源社区：

• 定期版本发布（约每季度一次）
• 企业支持选项（如Ahana、Starburst）
• 活跃的Slack讨论组和邮件列表
• 年度PrestoCon大会

参见

• Apache Drill
• Spark SQL
• Trino（Presto分支）
• Hive