面向数据工程师的 Agent Skills
数据工程技能涵盖为让他人使用而移动数据的工作。它横跨六个领域：摄取，将数据从产生它的系统中取出；存储，决定数据存放在哪里以及以何种形态供后续作业读取；转换，将其清洗、连接并建模为可供分析的东西；编排，控制作业何时运行、以什么顺序运行，以及失败时会发生什么；质量，在仪表盘之前告诉你某张表是错的；以及服务，将可信数据送达应用、仪表盘或模型。使用排名列表时，先找到你实际卡住的子主题，然后阅读其下列出的技能。选择所描述行为与你管道阶段相符的那个，并把其余视为后备，而非可叠加的替代方案。
8 个先看25 个推荐选项
从这些开始。
Data engineering moves data so someone else can use it: ingest, store, transform, orchestrate, check quality, and serve.
这些是和这项工作最接近的结果。从第一条开始，打开后即可安装。
- 排名 01查看 Agent Skill直接匹配
airflow-dag-patterns
构建生产级 Apache Airflow DAG，包含 operator、sensor、测试，以及用于数据管道和批处理作业的部署模式。数据工程师的核心编排技能。
10,528 · 受欢迎程度 - 排名 02查看 Agent Skill直接匹配
dbt-transformation-patterns
涵盖 dbt 分析工程，包括模型分层、测试、文档和增量策略，用于数据转换和仓库模型。直接针对 Transform 方面。
10,521 · 受欢迎程度 - 排名 03查看 Agent Skill直接匹配
spark-engineer
资深 Apache Spark 工程，用于高性能分布式数据处理，涵盖 DataFrame 转换、分区、shuffle 调优和结构化流处理。数据工程师的核心转换技能。
3,575 · 受欢迎程度 - 排名 04查看 Agent Skill直接匹配
data-throughput-accelerator
诊断并加速大规模数据移动，包括摄取、回填、ETL 和仓库加载，具有瓶颈隔离、基准测试和核算证明。直接针对数据管道吞吐量工作。
4,771 · 受欢迎程度 - 排名 05查看 Agent Skill直接匹配
ETL Pipeline
设计和自动化 Extract、Transform、Load 管道，包括源连接器、转换规则、加载到数据仓库和编排。直接针对 ETL 管道任务组。
4,288 · 受欢迎程度 - 排名 06查看 Agent Skill直接匹配
data-pipeline
构建 ETL 和数据管道工作流，涵盖从数据库、API 和文件提取、转换、加载到数仓以及调度。直接针对 ETL 管道任务组。
4,405 · 受欢迎程度 - 排名 07查看 Agent Skill直接匹配
ddia-systems
通过推理存储引擎、复制、分区、事务和一致性，以及批处理和流处理来设计数据系统。与数据仓库和管道架构决策直接相关。
4,833 · 受欢迎程度 - 排名 08查看 Agent Skill直接匹配
sql-queries
跨主流数仓方言（Snowflake、BigQuery、Databricks、PostgreSQL）编写正确、高性能的 SQL，运用 CTE、窗口函数和优化技巧。数据工程师的核心转换与服务 Skill。
4,276 · 受欢迎程度
展开另外 17 个 Agent Skills
- 排名 09查看 Agent Skill直接匹配
data-quality-frameworks
使用 Great Expectations、dbt 测试和数据契约实现数据质量验证，涵盖质量维度、测试金字塔和管道验证。直接针对数据工程的质量方面。
10,756 · 受欢迎程度 - 排名 10查看 Agent Skill直接匹配
spark-optimization
通过分区、缓存、shuffle 调优和内存管理优化 Apache Spark 作业，以支持大规模数据处理。数据工程师的核心转换与处理技能。
10,251 · 受欢迎程度 - 排名 11查看 Agent Skill直接匹配
migrating-to-amazon-redshift
指导端到端数据仓库迁移至 Amazon Redshift，涵盖发现、schema/SQL 转换、数据迁移、验证和性能对比。直接针对数据仓库任务组。
3,329 · 受欢迎程度 - 排名 12查看 Agent Skill直接匹配
clickhouse-io
涵盖 ClickHouse 模式设计、MergeTree 引擎、查询优化和摄取，用于高性能分析工作负载。与数据工程的存储和服务方面相关。
9,781 · 受欢迎程度 - 排名 13查看 Agent Skill直接匹配
accelerated-computing-cudf
NVIDIA 官方指南，涵盖 cuDF GPU DataFrames、pandas 加速、dask-cuDF，以及连接、groupby 和 Parquet I/O 等 ETL 操作。直接适用于加速数据工程转换。
2,960 · 受欢迎程度 - 排名 14查看 Agent Skill直接匹配
azure-storage
官方description: "Azure 存储服务，包括 Blob 存储、文件共享、队列存储、表存储和 Data Lake。回答关于存储访问层（热、冷、寒、归档）、何时使用各层以及层级对比的问题。提供对象存储、SMB 文件共享、异步消息、NoSQL 键值和大数据分析。包含生命周期管理。USE FOR:
515,512 · 受欢迎程度 - 排名 15查看 Agent Skill直接匹配
google-cloud-storage-basics
官方>- 在 Cloud Storage（Google Cloud Storage，即 GCS）存储桶中以对象形式存储、检索和管理数据。适用于需要与 Cloud Storage 交互的场景——创建或配置存储桶，上传、下载、流式传输或转移数据，用文件夹组织对象，生成签名 URL，控制访问（IAM、ACL、公开访问防护），设置存储类别和分层（Standard、Nearline、Coldline、Archive），管理成本和生命周期，保护数据（版本控制、加密/CMEK、保留和 Bucket Lock、对象保留、软删除），托管静态网站，在对象变更时触发 Pub/Sub 通知，将存储桶挂载为文件系统（gcsfuse），或在任意规模下优化存储性能。涵盖 gcloud storage / gsutil CLI、JSON 和 XML API、客户端库、Terraform 以及 Cloud Storage MCP 服务器。不适用于块存储（Persistent Disk）、数据仓库/分析（BigQuery）或数据库（Cloud SQL、Spanner、Bigtable、Firestore）。
- 排名 16查看 Agent Skill直接匹配
azure-kusto
官方使用KQL查询和分析Azure Data Explorer（Kusto/ADX）中的数据，用于日志分析、遥测和时间序列分析。何时使用：KQL查询、Kusto数据库查询、Azure Data Explorer、ADX集群、日志分析、时间序列数据、IoT遥测、异常检测。
514,672 · 受欢迎程度 - 排名 17查看 Agent Skill直接匹配
azure-storage-file-datalake-py
官方| 适用于 Python 的 Azure Data Lake Storage Gen2 SDK。用于分层文件系统、大数据分析以及文件/目录操作。触发词："data lake"、"DataLakeServiceClient"、"FileSystemClient"、"ADLS Gen2"、"hierarchical namespace"。
- 排名 18查看 Agent Skill直接匹配
google-cloud-storage-bucket-architect
官方>- 创建 Cloud Storage（Google Cloud Storage，即 GCS）存储桶。分析工作负载（敏感数据、媒体托管、数据摄取、网站托管、归档、备份、日志、分析、AI/ML 或通用用途），验证项目级安全设置，并在创建前设计默认安全、经济高效的配置（位置、存储类别、统一存储桶级访问权限、公开访问防护、软删除、生命周期）。当用户想要创建、建立、设置、配置或启动存储桶，或需要为应用、服务、管道或数据集提供对象存储时使用——即使是“简单”或“默认”存储桶，或当创建存储桶是更大工作流中的一步时也适用。通过 gcloud、JSON/REST API、Terraform 或 SDK 客户端库（C++、Java、Python、Go）输出或执行创建。不要用于创建新存储桶以外的任何用途——上传、下载、访问权限变更或重新配置现有存储桶，请使用 google-cloud-storage-basics。
- 排名 19查看 Agent Skill直接匹配
archify
精选创建精美、经过验证的架构图、工作流图、时序图、数据流图和生命周期/状态图，以可探索的独立 HTML 形式呈现，内联 SVG、深色/浅色主题、可选轨迹动效，并支持导出 PNG/JPEG/WebP/SVG/WebM。接受自然语言需求或粘贴的 Mermaid flowchart、sequenceDiagram 和 stateDiagram 输入；当图表必须反映真实代码时，检查仓库证据。当用户要求可视化系统架构、基础设施、云/安全/网络拓扑、技术工作流、API 调用序列、请求生命周期、数据管道、ETL/ELT、数据血缘、状态机，或转换/美化 Mermaid 时使用。
- 排名 20查看 Agent Skill可能匹配
amazon-dynamodb
根据访问模式设计和审查 DynamoDB 数据层，涵盖键、GSI、Streams、Global Tables 和零 ETL 集成。与 AWS 数据工程师的存储层设计相关。
4,402 · 受欢迎程度 - 排名 21查看 Agent Skill可能匹配
timestream-influxdb
指导 Amazon Timestream for InfluxDB 的引擎选择、预置、schema 设计和迁移，面向时间序列工作负载。与处理时间序列数据的数据工程师相关的存储层 skill。
声明的前提（自述）: MCP server
3,726 · 受欢迎程度 - 排名 22查看 Agent Skill可能匹配
datanalysis-credit-risk
信用风险数据清洗和变量筛选流水线，涵盖缺失率、IV、PSI 和相关性过滤。数据质量和预处理工作与数据工程相邻，但专属于信用建模领域。
7,300 · 受欢迎程度 - 排名 23查看 Agent Skill可能匹配
ml-pipeline-workflow
构建从数据准备到训练、验证和部署的端到端 MLOps 管道，并使用 DAG 编排。在摄取和编排方面与数据工程重叠，但以 ML 为中心。
10,692 · 受欢迎程度 - 排名 24查看 Agent Skill可能匹配
mle-workflow
生产级 ML 工程工作流，涵盖数据契约、可复现训练、评估、部署和监控。在数据契约和流水线方面与数据工程重叠，但以 ML 系统为中心。
5,819 · 受欢迎程度 - 排名 25查看 Agent Skill可能匹配
constraint-driven-development
精选将项目的质量标准确立为书面契约，并阻止 agent 悄悄降低标准。就哪些维度重要采访用户，在用户没有具体数字时提供合理的默认阈值，将所有内容记录在 CONSTRAINTS.md 中，并监视 diff 中是否有被削弱的标准——新增 @ts-ignore 或 eslint-disable 抑制、跳过或删除测试、剥离断言、未实现的桩、下调阈值。当没有写下质量标准时、当用户说“设置约束”或“定义我们的标准”时、当用户希望将他们关心的维度——无障碍、Web 性能、覆盖率——设置为强制约束时、当 agent 不断压制检查或跳过测试以求通过时、当你需要覆盖率或性能阈值却不知道选什么数字时，或当 agent 写的代码超出任何人愿意阅读的量时使用。
这个话题涵盖什么
每个子主题对应一类具体场景下的 Agent Skills。
- Ingest
- Get data out of the systems that produce it.
- Storage
- Where it lives, in a shape later jobs can read.
- Transform
- Clean, join, and model it into something analytical.
- Orchestrate
- When jobs run, in what order, and what happens on failure.
- Quality
- Know when the table is wrong before a dashboard is.
- Serving
- Get trusted data to the app, the dashboard, or the model.
常见问题
- 这个列表是如何排序的？
- 它按观察到的搜索需求排名，直接匹配主题的排在前。任何单一发布者都不能占据超过上限的列表份额。
- 我应该从哪个子主题开始？
- 从你流水线当前断裂的阶段开始：如果数据没有离开来源，用摄取；如果下游任务读不到数据，用存储；如果模型不对，用转换；如果任务在错误时间运行或静默失败，用编排；如果坏表进入仪表盘，用质量；如果可信数据没有到达应用或模型，用服务。
- 这些 Skill 能取代完整的数据平台吗？
- 不是。它们是 agent 加载的独立 SKILL.md 包，每个针对摄取、存储、转换、编排、质量和服务的路径中的一部分。平台以及这些阶段如何连接的决策仍由你负责。
- 我可以使用该主题下的多个技能吗？
- 是的，因为各子主题是同一流程的不同阶段。为你需要处理的每个阶段挑一个技能，避免加载两个声称覆盖同一阶段的技能。
如何安装 Agent Skill
从本页第一条开始。Claude Code 会读取放进 skills 目录的 SKILL.md：
- Claude Code——把 airflow-dag-patterns 的 SKILL.md 复制到 ~/.claude/skills/airflow-dag-patterns/（个人使用），或 .claude/skills/airflow-dag-patterns/（随项目共享）。
- 从 registry 安装——运行 npx skills add wshobson/agents@airflow-dag-patterns。
- 或者从 airflow-dag-patterns 的来源下载 SKILL.md，放进上面的目录。
如何挑选 安装前先看出处和技能自身的说明。Official 与 Notable 标签描述的是技能来源。