データエンジニア向けの Agent Skills
Data engineeringスキルは、他の誰かが使えるようにデータを動かす仕事をカバーします。それは6つの領域に及びます。ingestはデータを生成するシステムから取り出し、storageはそれがどこに住み、後のジョブが読める形を決め、transformはそれをクリーンにし、結合し、分析可能なものにモデル化し、orchestrateはジョブがいつ、どの順で実行され、失敗時に何が起きるかを制御し、qualityはダッシュボードより先にテーブルが間違っていると教え、servingは信頼できるデータをアプリ、ダッシュボード、モデルに届けます。ランキングされたリストは、実際に詰まっているサブトピックを見つけ、その下に並ぶスキルを読んで使ってください。記述された振る舞いが自分のパイプライン段階に合うものを選び、残りは積み重ねる代替ではなくフォールバックとして扱いましょう。
8 件から開始25 件のおすすめ候補
まずはこちらから。
Data engineering moves data so someone else can use it: ingest, store, transform, orchestrate, check quality, and serve.
関連性の高い結果です。Skill の説明を読み、目的に合うか確認してください。
- 順位 01Agent Skill を見る直接一致
airflow-dag-patterns
データパイプラインとバッチジョブ向けに、オペレーター、センサー、テスト、デプロイパターンを備えた本番用Apache Airflow DAGを構築。データエンジニア向けの中核オーケストレーションスキル。
10,528 · 人気度 - 順位 02Agent Skill を見る直接一致
dbt-transformation-patterns
モデル階層化、テスト、ドキュメント、データ変換とウェアハウスモデル向けの増分戦略を備えたdbtアナリティクスエンジニアリングを網羅。Transformの側面を直接対象とする。
10,521 · 人気度 - 順位 03Agent Skill を見る直接一致
spark-engineer
高性能データ処理のためのシニアApache Sparkエンジニアリング。DataFrame変換、パーティショニング、シャッフルチューニング、structured streamingをカバー。データエンジニア向けのコア変換スキル。
3,575 · 人気度 - 順位 04Agent Skill を見る直接一致
data-throughput-accelerator
取り込み、バックフィル、ETL、ウェアハウスへのロードを含む大規模データ移動を診断・加速する。ボトルネックの特定、ベンチマーク、会計上の証明を伴う。データパイプラインのスループット業務を直接対象とする。
4,771 · 人気度 - 順位 05Agent Skill を見る直接一致
ETL Pipeline
ソースコネクタ、変換ルール、ウェアハウスへのロード、オーケストレーションを備えた Extract, Transform, Load パイプラインを設計・自動化する。ETL パイプラインのタスクグループに直接対応。
4,288 · 人気度 - 順位 06Agent Skill を見る直接一致
data-pipeline
データベース、API、ファイルからの抽出、変換、ウェアハウスへのロード、スケジューリングをカバーするETLとデータパイプラインのワークフローを構築する。ETLパイプラインのタスクグループを直接対象とする。
4,405 · 人気度 - 順位 07Agent Skill を見る直接一致
ddia-systems
ストレージエンジン、レプリケーション、パーティショニング、トランザクション、一貫性、さらにバッチとストリーム処理を考慮してデータシステムを設計する。データウェアハウスとパイプラインアーキテクチャの意思決定に直接関連する。
4,833 · 人気度 - 順位 08Agent Skill を見る直接一致
sql-queries
主要なウェアハウス方言（Snowflake、BigQuery、Databricks、PostgreSQL）にわたり、CTE、ウィンドウ関数、最適化のヒントを用いて正しく高性能なSQLを書く。データエンジニアの中核となるtransformとservingのスキル。
4,276 · 人気度
ほか 17 件の Agent Skills を表示
- 順位 09Agent Skill を見る直接一致
data-quality-frameworks
Great Expectations、dbtテスト、データコントラクトによるデータ品質検証を実装し、品質次元、テストピラミッド、パイプライン検証をカバー。データエンジニアリングのQualityファセットに直接対応。
10,756 · 人気度 - 順位 10Agent Skill を見る直接一致
spark-optimization
パーティショニング、キャッシュ、シャッフルチューニング、メモリ管理によりApache Sparkジョブを最適化し、大規模データ処理を実現します。データエンジニア向けの中核的な変換・処理スキルです。
10,251 · 人気度 - 順位 11Agent Skill を見る直接一致
migrating-to-amazon-redshift
Amazon Redshiftへのエンドツーエンドのデータウェアハウス移行をガイド。ディスカバリー、スキーマ/SQL変換、データ移行、検証、パフォーマンス比較をカバー。データウェアハウスのタスク群を直接対象とする。
3,329 · 人気度 - 順位 12Agent Skill を見る直接一致
clickhouse-io
ClickHouseのスキーマ設計、MergeTreeエンジン、クエリ最適化、高パフォーマンス分析ワークロード向けの取り込みを網羅します。データエンジニアリングのStorageとServingの側面に関連します。
9,781 · 人気度 - 順位 13Agent Skill を見る直接一致
accelerated-computing-cudf
cuDF GPU DataFrames、pandas高速化、dask-cuDF、およびjoin、groupby、Parquet I/OなどのETL操作に関するNVIDIA公式ガイダンス。データエンジニアリングの変換高速化に直接関連。
2,960 · 人気度 - 順位 14Agent Skill を見る直接一致
azure-storage
公式description: "Blob Storage、File Shares、Queue Storage、Table Storage、Data Lakeを含むAzure Storage Services。ストレージアクセス層（hot、cool、cold、archive）、各層の使用時期、層の比較に関する質問に回答します。オブジェクトストレージ、SMBファイル共有、非同期メッセージング、NoSQLキーバリュー、ビッグデータ分析を提供します。ライフサイクル管理を含みます。USE FOR:
515,512 · 人気度 - 順位 15Agent Skill を見る直接一致
google-cloud-storage-basics
公式>- Cloud Storage（Google Cloud Storage、GCS）バケット内のデータをオブジェクトとして保存、取得、管理します。Cloud Storageを操作する必要がある場合に使用します — バケットの作成や設定、データのアップロード、ダウンロード、ストリーミング、転送、フォルダによるオブジェクトの整理、署名付きURLの生成、アクセス制御（IAM、ACL、公開アクセス防止）、ストレージクラスと階層化（Standard、Nearline、Coldline、Archive）の設定、コストとライフサイクルの管理、データ保護（バージョニング、暗号化/CMEK、保持とBucket Lock、オブジェクトホールド、ソフト削除）、静的ウェブサイトのホスティング、オブジェクト変更時のPub/Sub通知のトリガー、バケットのファイルシステムとしてのマウント（gcsfuse）、あらゆる規模でのストレージパフォーマンスの最適化など。gcloud storage / gsutil CLI、JSONおよびXML API、クライアントライブラリ、Terraform、Cloud Storage MCPサーバーをカバーします。ブロックストレージ（Persistent Disk）、データウェアハウス/分析（BigQuery）、データベース（Cloud SQL、Spanner、Bigtable、Firestore）には使用しないでください。
- 順位 16Agent Skill を見る直接一致
azure-kusto
公式KQLを使ってAzure Data Explorer（Kusto/ADX）のデータをクエリ・分析し、ログ分析、テレメトリ、時系列分析を行います。WHEN: KQLクエリ、Kustoデータベースクエリ、Azure Data Explorer、ADXクラスター、ログ分析、時系列データ、IoTテレメトリ、異常検知。
514,672 · 人気度 - 順位 17Agent Skill を見る直接一致
azure-storage-file-datalake-py
公式| Python用Azure Data Lake Storage Gen2 SDK。階層型ファイルシステム、ビッグデータ分析、ファイル/ディレクトリ操作に使用します。トリガー: "data lake"、"DataLakeServiceClient"、"FileSystemClient"、"ADLS Gen2"、"hierarchical namespace"。
- 順位 18Agent Skill を見る直接一致
google-cloud-storage-bucket-architect
公式>- Cloud Storage（Google Cloud Storage、またはGCS）バケットを作成します。ワークロード（機密データ、メディアホスティング、取り込み、Webホスティング、アーカイブ、バックアップ、ログ、分析、AI/ML、汎用）を分析し、プロジェクトレベルのセキュリティ設定を検証し、作成前にセキュアバイデフォルトでコスト効率の高い構成（ロケーション、ストレージクラス、均一なバケットレベルアクセス、公開アクセス防止、ソフト削除、ライフサイクル）を設計します。ユーザーがバケットの作成、セットアップ、プロビジョニング、起動を望む場合、またはアプリ、サービス、パイプライン、データセット用のオブジェクトストレージを必要とする場合に常に使用します — 「シンプル」または「デフォルト」のバケットであっても、バケット作成がより大きなワークフローの1ステップである場合も同様です。gcloud、JSON/REST API、Terraform、またはSDKクライアントライブラリ（C++、Java、Python、Go）を介して作成を出力または実行します。新しいバケットの作成以外には使用しないでください — アップロード、ダウンロード、アクセス変更、既存バケットの再構成にはgoogle-cloud-storage-basicsを使用してください。
- 順位 19Agent Skill を見る直接一致
archify
注目洗練され検証済みのアーキテクチャ、ワークフロー、シーケンス、データフロー、ライフサイクル/状態図を、探索可能なスタンドアロンHTMLとしてインラインSVG付きで作成。ダーク/ライトテーマ、任意のトレースモーション、PNG/JPEG/WebP/SVG/WebMエクスポートに対応。平易な要件記述や、貼り付けたMermaidのflowchart、sequenceDiagram、stateDiagram入力を受け付け、図が実際のコードを反映すべき場合はリポジトリのエビデンスを調査。システムアーキテクチャ、インフラ、クラウド/セキュリティ/ネットワークトポロジ、技術ワークフロー、API呼び出しシーケンス、リクエストライフサイクル、データパイプライン、ETL/ELT、データリネージ、状態機械の可視化、またはMermaidの変換/整形をユーザーが求めたときに使用。
- 順位 20Agent Skill を見る一致の可能性
amazon-dynamodb
アクセスパターンから DynamoDB データレイヤーを設計・レビューし、キー、GSI、Streams、Global Tables、ゼロ ETL 統合を扱います。AWS のデータエンジニアに関連するストレージレイヤー設計。
4,402 · 人気度 - 順位 21Agent Skill を見る一致の可能性
timestream-influxdb
時系列ワークロード向けにAmazon Timestream for InfluxDBのエンジン選定、プロビジョニング、スキーマ設計、移行をガイド。時系列データを扱うデータエンジニア向けのストレージ層スキル。
前提条件（自己申告）: MCP server
3,726 · 人気度 - 順位 22Agent Skill を見る一致の可能性
datanalysis-credit-risk
欠損率、IV、PSI、相関フィルタリングを網羅する信用リスクのデータクリーニングと変数選別パイプライン。データエンジニアリングに隣接するデータ品質と前処理の作業だが、信用モデリングに特化。
7,300 · 人気度 - 順位 23Agent Skill を見る一致の可能性
ml-pipeline-workflow
データ準備からトレーニング、検証、デプロイまでをDAGオーケストレーションで行うエンドツーエンドのMLOpsパイプラインを構築します。取り込みとオーケストレーションでデータエンジニアリングと重なりますが、MLを中心とします。
10,692 · 人気度 - 順位 24Agent Skill を見る一致の可能性
mle-workflow
データコントラクト、再現可能なトレーニング、評価、デプロイ、監視をカバーする本番MLエンジニアリングワークフロー。データコントラクトとパイプラインでデータエンジニアリングと重なりますが、MLシステムを中心とします。
5,819 · 人気度 - 順位 25Agent Skill を見る一致の可能性
constraint-driven-development
注目プロジェクトの品質基準を書面による契約として確立し、Agentがそれを密かに引き下げるのを防ぐ。どの観点が重要かをユーザーにヒアリングし、数値の目安がない場合は妥当なデフォルト閾値を提示し、すべてをCONSTRAINTS.mdに記録し、基準が弱められていないかdiffを監視する — 新たな@ts-ignoreやeslint-disableによる抑制、スキップまたは削除されたテスト、削除されたアサーション、未実装のスタブ、引き下げられた閾値など。品質基準が文書化されていないとき、ユーザーが「制約を設定して」や「基準を定義して」と言ったとき、アクセシビリティ・Webパフォーマンス・カバレッジなど重視する観点を強制される制約として設定したいとき、Agentがグリーンにするためにチェックを黙らせたりテストをスキップし続けるとき、カバレッジやパフォーマンスの閾値が必要だがどの数値にすべきか分からないとき、またはAgentが誰も読まないような量のコードを書くときに使用する。
このトピックの内容
各サブトピックは、特定の状況に合う Agent Skills をまとめたものです。
- Ingest
- Get data out of the systems that produce it.
- Storage
- Where it lives, in a shape later jobs can read.
- Transform
- Clean, join, and model it into something analytical.
- Orchestrate
- When jobs run, in what order, and what happens on failure.
- Quality
- Know when the table is wrong before a dashboard is.
- Serving
- Get trusted data to the app, the dashboard, or the model.
よくある質問
- このリストはどのように並べられていますか？
- 観測された検索需要でランク付けされ、トピックへの直接一致が先に配置されています。単一のパブリッシャーがリストの上限を超えるシェアを取ることはできません。
- どのサブトピックから始めるべきですか？
- パイプラインが現在壊れている段階から始めてください。データがソースから出ていないなら取り込み、下流のジョブが読めないなら保存、モデルが間違っているなら変換、ジョブが誤った時刻に実行されたり黙って失敗したりするならオーケストレーション、悪いテーブルがダッシュボードに届くなら品質、信頼できるデータがアプリやモデルに届いていないなら配信です。
- これらのSkillは完全なデータプラットフォームを置き換えますか？
- いいえ。これらはエージェントが読み込む個々のSKILL.mdパッケージで、それぞれ取り込み、保存、変換、オーケストレーション、品質、提供という流れの一部を狙ったものです。プラットフォームと、それらの段階をどうつなぐかの決定は依然としてあなたのものです。
- このトピックから複数のSkillを使えますか？
- はい。サブトピックは同じ流れの中の別々の段階だからです。対処が必要な段階ごとに1つのスキルを選び、同じ段階を主張する2つのスキルを読み込むのは避けてください。
Agent Skill のインストール方法
Agent Skills は SKILL.md ファイルです。適切な skills ディレクトリに置くと、多くのエージェントが自動で認識します。
- Claude Code — copy the SKILL.md for airflow-dag-patterns into ~/.claude/skills/airflow-dag-patterns/ for yourself, or .claude/skills/airflow-dag-patterns/ to share it with a project.
- From the registry — run npx skills add wshobson/agents@airflow-dag-patterns.
- Or download airflow-dag-patterns from its source and place that SKILL.md in the directory above.
選び方 インストール前に出典と Skill 自身の説明を確認してください。Official と Notable は出所を示すラベルです。