Arch Day 179
Arch Day 179: 数据编排与区块链数据 — Airflow 3.0、Dagster与索引器
数据编排解决"何时、按什么顺序、怎么处理数据"的问题。2025年Airflow 3.0是史上最大版本，但Dagster的asset-oriented模式正在改变游戏规则。
2026-09-25
第七阶段 - Web3专题深度AirflowDagsterPrefect数据编排区块链数据索引器
日期: 2026-09-25 (Day 179) 阶段: 第七阶段 - Web3专题深度 标签: #Airflow #Dagster #Prefect #数据编排 #区块链数据 #索引器
核心概念
一句话定义
数据编排解决"何时、按什么顺序、怎么处理数据"的问题。2025年Airflow 3.0是史上最大版本，但Dagster的asset-oriented模式正在改变游戏规则。
知识点详解
1. 编排工具对比
| 维度 | Airflow 3.0 | Dagster | Prefect |
|---|---|---|---|
| 核心 | Task-based DAGs | Data Assets | Python-native |
| 3.0亮点 | DAG versioning、多语言SDK | Components GA、强local dev | Serverless增强 |
| dbt集成 | Cosmos/operators | 原生 | Tasks |
| 适合 | 大规模ETL、成熟团队 | 重视血缘lineage | 动态workflow |
2. 区块链数据索引生态
| 平台 | 特色 | 性能 |
|---|---|---|
| The Graph | 去中心化Subgraph | 标准 |
| Goldsky | 兼容The Graph | 亚秒延迟 |
| Chainbase | 80+链 | 10x更快backfill |
| Covalent | 210+链统一REST | 零配置 |
3. 实时 vs 批处理
| 维度 | Batch | Real-time |
|---|---|---|
| 延迟 | 分钟~小时 | 秒~毫秒 |
| 成本 | 低 | 高 |
| Web3应用 | BI报表、历史分析 | MEV检测、清算监控 |
4. 金融数据建模
dbt金融数据建模基于会计原则：Chart of Accounts → General Ledger → Balance Sheet → P&L → Reconciliation。
面试题
问题：Airflow vs Dagster，你怎么选？
回答：看团队阶段——Airflow适合已有大量DAGs的成熟团队(行业标准，3.0新增DAG versioning很实用)。Dagster适合从头构建的团队(asset-oriented思维更现代，local dev体验好，原生dbt集成)。如果团队已有50+Airflow DAGs，迁移成本大于收益；如果新建，Dagster更好。