跳转到内容
主菜单
主菜单
移至侧栏
隐藏
导航
首页
最近更改
随机页面
MediaWiki帮助
代码酷
搜索
搜索
中文(中国大陆)
外观
创建账号
登录
个人工具
创建账号
登录
未登录编辑者的页面
了解详情
贡献
讨论
编辑“︁
Airflow与数据库集成
”︁(章节)
页面
讨论
大陆简体
阅读
编辑
编辑源代码
查看历史
工具
工具
移至侧栏
隐藏
操作
阅读
编辑
编辑源代码
查看历史
常规
链入页面
相关更改
特殊页面
页面信息
外观
移至侧栏
隐藏
您的更改会在有权核准的用户核准后向读者展示。
警告:
您没有登录。如果您进行任何编辑,您的IP地址会公开展示。如果您
登录
或
创建账号
,您的编辑会以您的用户名署名,此外还有其他益处。
反垃圾检查。
不要
加入这个!
== 基础集成方法 == === 使用数据库Operator === Airflow提供了多种数据库专用的Operator。以下是一个使用PostgresOperator执行SQL查询的示例: <syntaxhighlight lang="python"> from airflow import DAG from airflow.providers.postgres.operators.postgres import PostgresOperator from datetime import datetime default_args = { 'owner': 'airflow', 'start_date': datetime(2023, 1, 1), } with DAG('postgres_example', default_args=default_args, schedule_interval='@daily') as dag: create_table = PostgresOperator( task_id='create_table', postgres_conn_id='postgres_conn', sql=""" CREATE TABLE IF NOT EXISTS users ( id SERIAL PRIMARY KEY, name VARCHAR(100), email VARCHAR(100) ); """ ) insert_data = PostgresOperator( task_id='insert_data', postgres_conn_id='postgres_conn', sql=""" INSERT INTO users (name, email) VALUES ('John Doe', 'john@example.com'); """ ) create_table >> insert_data </syntaxhighlight> '''代码解释:''' 1. 创建了一个名为`postgres_example`的DAG 2. 定义了两个任务:`create_table`和`insert_data` 3. 使用`PostgresOperator`执行SQL语句 4. `postgres_conn_id`参数引用在Airflow中配置的数据库连接 === 数据库连接配置 === 在Airflow中使用数据库前,需要在Web UI或通过环境变量配置数据库连接: 1. 进入Airflow Web UI → Admin → Connections 2. 点击"Add a new record" 3. 填写连接信息: * Conn Id: `postgres_conn` * Conn Type: `Postgres` * Host: 数据库服务器地址 * Schema: 数据库名称 * Login: 用户名 * Password: 密码 * Port: 5432(PostgreSQL默认端口)
摘要:
请注意,所有对代码酷的贡献均被视为依照知识共享署名-非商业性使用-相同方式共享发表(详情请见
代码酷:著作权
)。如果您不希望您的文字作品被随意编辑和分发传播,请不要在此提交。
您同时也向我们承诺,您提交的内容为您自己所创作,或是复制自公共领域或类似自由来源。
未经许可,请勿提交受著作权保护的作品!
取消
编辑帮助
(在新窗口中打开)