编辑“︁Apache Drill UNION操作”︁（章节）

= Apache Drill UNION操作 =

== 介绍 ==
'''UNION操作'''是Apache Drill查询语言中的一种集合操作，用于合并两个或多个SELECT语句的结果集。与SQL标准一致，Drill的UNION操作要求合并的结果集必须具有相同的列数和兼容的数据类型。UNION会自动去除重复行，而'''UNION ALL'''会保留所有行（包括重复行）。

Apache Drill支持以下两种UNION变体：
* <code>UNION</code> - 合并结果并去除重复
* <code>UNION ALL</code> - 合并结果并保留所有行

== 语法结构 ==
基本语法如下：
<syntaxhighlight lang="sql">
SELECT column1, column2, ... FROM table1
UNION [ALL]
SELECT column1, column2, ... FROM table2
[UNION [ALL]
SELECT column1, column2, ... FROM table3 ...]
</syntaxhighlight>

== 使用示例 ==

=== 基础示例 ===
假设有两个表存储不同季度的销售数据：

'''表: sales_q1'''
{| class="wikitable"
|-
! product_id !! amount !! region
|-
| 101 || 500 || North
|-
| 102 || 300 || South
|}

'''表: sales_q2'''
{| class="wikitable"
|-
! product_id !! amount !! region
|-
| 101 || 400 || North
|-
| 103 || 200 || East
|}

使用UNION合并结果：
<syntaxhighlight lang="sql">
SELECT product_id, amount, region FROM sales_q1
UNION
SELECT product_id, amount, region FROM sales_q2
</syntaxhighlight>

'''输出结果'''（自动去重）：
{| class="wikitable"
|-
! product_id !! amount !! region
|-
| 101 || 500 || North
|-
| 102 || 300 || South
|-
| 101 || 400 || North
|-
| 103 || 200 || East
|}

使用UNION ALL保留所有记录：
<syntaxhighlight lang="sql">
SELECT product_id, amount, region FROM sales_q1
UNION ALL
SELECT product_id, amount, region FROM sales_q2
</syntaxhighlight>

'''输出结果'''（包含重复）：
{| class="wikitable"
|-
! product_id !! amount !! region
|-
| 101 || 500 || North
|-
| 102 || 300 || South
|-
| 101 || 400 || North
|-
| 103 || 200 || East
|}

=== 数据类型兼容性 ===
UNION操作要求对应列的数据类型兼容。Drill会尝试自动转换类型，但显式转换更安全：

<syntaxhighlight lang="sql">
SELECT product_id, CAST(amount AS VARCHAR) as amount_str FROM sales_q1
UNION
SELECT product_id, region FROM sales_q2  -- region是VARCHAR类型
</syntaxhighlight>

== 高级用法 ==

=== 多表UNION ===
可以链式组合多个UNION操作：

<syntaxhighlight lang="sql">
SELECT * FROM sales_q1
UNION ALL
SELECT * FROM sales_q2
UNION ALL
SELECT * FROM sales_q3
</syntaxhighlight>

=== 与ORDER BY结合 ===
排序必须应用于最终结果：

<syntaxhighlight lang="sql">
(SELECT product_id, amount FROM sales_q1)
UNION ALL
(SELECT product_id, amount FROM sales_q2)
ORDER BY amount DESC
</syntaxhighlight>

=== 使用WITH子句 ===
提高复杂UNION查询的可读性：

<syntaxhighlight lang="sql">
WITH combined_sales AS (
    SELECT * FROM sales_q1
    UNION ALL
    SELECT * FROM sales_q2
)
SELECT product_id, SUM(amount) 
FROM combined_sales 
GROUP BY product_id
</syntaxhighlight>

== 性能考量 ==

UNION操作在Drill中的执行流程可通过mermaid表示：
<mermaid>
graph LR
    A[Query Planning] --> B[Execute First SELECT]
    A --> C[Execute Second SELECT]
    B --> D[Combine Results]
    C --> D
    D --> E[Apply DISTINCT if UNION]
    E --> F[Return Results]
</mermaid>

性能优化建议：
1. 优先使用'''UNION ALL'''，除非确实需要去重
2. 对大数据集考虑先过滤再UNION
3. 确保所有SELECT语句使用相同的分区策略

== 实际应用案例 ==

=== 案例1：合并多源数据 ===
从不同文件格式合并日志数据：
<syntaxhighlight lang="sql">
SELECT timestamp, message FROM dfs.`/logs/json/*.json`
UNION ALL
SELECT timestamp, message FROM dfs.`/logs/parquet/*.parquet`
</syntaxhighlight>

=== 案例2：时间序列补全 ===
补全缺失的时间点（假设days表存储连续日期）：
<syntaxhighlight lang="sql">
SELECT date, actual_sales as value, 'actual' as type FROM sales_data
UNION ALL
SELECT date, forecast_sales as value, 'forecast' as type FROM sales_forecast
</syntaxhighlight>

== 数学原理 ==
UNION操作对应集合论中的并集运算：
<math>
R \cup S = \{ x | x \in R \lor x \in S \}
</math>
而UNION ALL对应多重集(Multiset)的加法运算。

== 常见问题 ==

'''Q: UNION和JOIN有什么区别？'''
A: 
* JOIN水平组合列（扩展行宽度）
* UNION垂直组合行（增加行数量）

'''Q: 为什么我的UNION查询返回类型错误？'''
A: Drill会按第一个SELECT的结果确定列类型，后续SELECT必须兼容或可转换

'''Q: 如何限制UNION结果的总行数？'''
A: 在外层使用LIMIT：
<syntaxhighlight lang="sql">
(SELECT ... UNION SELECT ...) LIMIT 100
</syntaxhighlight>

== 总结 ==
Apache Drill的UNION操作是合并多数据集的重要工具。关键要点：
* 理解UNION与UNION ALL的区别
* 确保结果集的列结构和类型兼容
* 掌握性能优化技巧
* 灵活应用于多数据源整合场景

通过合理使用UNION操作，可以构建更强大的跨数据集分析查询。

[[Category:大数据框架]]
[[Category:Apache Drill]]
[[Category:Apache Drill查询语言]]