Agent Skills für Dateningenieure

Implementiert Datenqualitätsvalidierung mit Great Expectations, dbt-Tests und Data Contracts, inklusive Qualitätsdimensionen, Testpyramiden und Pipeline-Validierung. Zielt direkt auf den Quality-Aspekt des Data Engineering.

von wshobson/agents

• Transform
• Quality

Optimiert Apache Spark Jobs mit Partitionierung, Caching, Shuffle-Tuning und Speicherverwaltung für Datenverarbeitung im großen Maßstab. Zentrale Transform- und Processing-Skill für Data Engineers.

von wshobson/agents

Begleitet die End-to-End-Migration eines Data Warehouse zu Amazon Redshift und deckt Discovery, Schema-/SQL-Konvertierung, Datenmigration, Validierung und Performance-Vergleich ab. Richtet sich direkt an die Data-Warehouse-Aufgabengruppe.

von aws/agent-toolkit-for-aws

• Storage

Deckt ClickHouse-Schemadesign, MergeTree-Engines, Query-Optimierung und Ingestion für leistungsstarke analytische Workloads ab. Relevant für die Facetten Storage und Serving im Data Engineering.

von affaan-m/ecc

• Ingest

Offizielle NVIDIA-Anleitung für cuDF GPU DataFrames, pandas-Beschleunigung, dask-cuDF und ETL-Operationen wie Joins, groupby und Parquet-I/O. Direkt relevant für die Beschleunigung von Data-Engineering-Transformationen.

von nvidia/skills

• Transform

description: "Azure Storage Services einschließlich Blob Storage, File Shares, Queue Storage, Table Storage und Data Lake. Beantwortet Fragen zu Speicherzugriffsebenen (hot, cool, cold, archive), wann welche Ebene zu verwenden ist und zum Ebenenvergleich. Bietet Objektspeicher, SMB-Dateifreigaben, asynchrones Messaging, NoSQL-Key-Value und Big-Data-Analytik. Enthält Lifecycle-Management. USE FOR:

von microsoft/azure-skills

• Storage

>- Speichert, ruft ab und verwaltet Daten als Objekte in Cloud Storage (Google Cloud Storage oder GCS) Buckets. Verwende dies, wenn du mit Cloud Storage interagieren musst — Buckets erstellen oder konfigurieren, Daten hochladen, herunterladen, streamen oder übertragen, Objekte mit Ordnern organisieren, signierte URLs generieren, Zugriff steuern (IAM, ACLs, Public Access Prevention), Speicherklassen und Tiering festlegen (Standard, Nearline, Coldline, Archive), Kosten und Lifecycle verwalten, Daten schützen (Versionierung, Verschlüsselung/CMEK, Retention und Bucket Lock, Object Holds, Soft Delete), statische Websites hosten, Pub/Sub-Benachrichtigungen bei Objektänderungen auslösen, Buckets als Dateisystem einbinden (gcsfuse) oder die Speicherleistung in jeder Größenordnung optimieren. Deckt die gcloud storage / gsutil CLI, JSON- und XML-APIs, Client-Bibliotheken, Terraform und Cloud Storage MCP-Server ab. Nicht verwenden für Block Storage (Persistent Disk), Data Warehousing/Analytics (BigQuery) oder Datenbanken (Cloud SQL, Spanner, Bigtable, Firestore).

von google/skills

• Ingest
• Transform

Daten in Azure Data Explorer (Kusto/ADX) mit KQL abfragen und analysieren für Log-Analytics, Telemetrie und Zeitreihenanalyse. WANN: KQL-Abfragen, Kusto-Datenbankabfragen, Azure Data Explorer, ADX-Cluster, Log-Analytics, Zeitreihendaten, IoT-Telemetrie, Anomalieerkennung.

von microsoft/azure-skills

| Azure Data Lake Storage Gen2 SDK for Python. Use for hierarchical file systems, big data analytics, and file/directory operations. Triggers: "data lake", "DataLakeServiceClient", "FileSystemClient", "ADLS Gen2", "hierarchical namespace".

von microsoft/skills

• Storage

>- Erstellt Cloud Storage (Google Cloud Storage oder GCS) Buckets. Analysiert die Workload (sensible Daten, Media-Hosting, Ingestion, Web-Hosting, Archivierung, Backup, Logging, Analytics, AI/ML oder allgemeiner Zweck), validiert Sicherheitseinstellungen auf Projektebene und entwirft eine standardmäßig sichere, kosteneffiziente Konfiguration (Standort, Storage-Klasse, einheitlicher Bucket-Zugriff, Verhinderung öffentlichen Zugriffs, Soft Delete, Lifecycle), bevor sie erstellt wird. Verwende dies, wann immer ein Nutzer einen Bucket erstellen, anlegen, einrichten, bereitstellen oder hochfahren möchte oder Objektspeicher für eine App, einen Service, eine Pipeline oder einen Datensatz benötigt – selbst für einen "einfachen" oder "Standard"-Bucket oder wenn die Bucket-Erstellung ein Schritt in einem größeren Workflow ist. Gibt die Erstellung aus oder führt sie aus über gcloud, die JSON/REST API, Terraform oder SDK-Clientbibliotheken (C++, Java, Python, Go). Nicht für etwas anderes als das Erstellen neuer Buckets verwenden – für Uploads, Downloads, Zugriffsänderungen oder Neukonfiguration bestehender Buckets google-cloud-storage-basics verwenden.

von google/skills

• Ingest
• Storage
• Transform

Erstellt ausgefeilte, validierte Architektur-, Workflow-, Sequenz-, Datenfluss- und Lifecycle-/State-Diagramme als erkundbare eigenständige HTML mit Inline-SVG, Dark/Light-Themes, optionaler Trace-Bewegung und PNG/JPEG/WebP/SVG/WebM-Export. Akzeptiert Anforderungen in Alltagssprache oder eingefügte Mermaid-flowchart-, sequenceDiagram- und stateDiagram-Eingaben; prüft Repository-Belege, wenn das Diagramm echten Code widerspiegeln muss. Verwende dies, wenn der Nutzer Systemarchitektur, Infrastruktur-, Cloud-/Sicherheits-/Netzwerktopologie, technische Workflows, API-Aufrufsequenzen, Request-Lifecycles, Datenpipelines, ETL/ELT, Datenherkunft, Zustandsmaschinen visualisieren oder Mermaid konvertieren/verschönern möchte.

von tt-a1i/archify

• Transform

Entwirft und überprüft DynamoDB-Datenschichten anhand von Zugriffsmustern, einschließlich Keys, GSIs, Streams, Global Tables und Zero-ETL-Integrationen. Relevantes Design der Speicherschicht für Data Engineers auf AWS.

von aws/agent-toolkit-for-aws

• Transform

Führt durch die Auswahl der Amazon Timestream for InfluxDB Engine, Provisioning, Schema-Design und Migration für Time-Series-Workloads. Relevanter Storage-Layer-Skill für Data Engineers, die mit Time-Series-Daten arbeiten.

von aws/agent-toolkit-for-aws

Voraussetzungen (angegeben): MCP server

Pipeline zur Datenbereinigung und Variablenselektion im Kreditrisiko, abdeckend Fehlraten, IV, PSI und Korrelationsfilterung. Datenqualitäts- und Vorverarbeitungsarbeit angrenzend an Data Engineering, aber domänenspezifisch für Kreditmodellierung.

von github/awesome-copilot

• Transform
• Quality

Erstellt End-to-End-MLOps-Pipelines von der Datenvorbereitung über Training, Validierung und Deployment mit DAG-Orchestrierung. Überschneidet sich mit Data Engineering bei Ingestion und Orchestrierung, ist aber auf ML zentriert.

von wshobson/agents

• Ingest
• Transform
• Orchestrate

Produktions-ML-Engineering-Workflow zu Datenverträgen, reproduzierbarem Training, Evaluation, Deployment und Monitoring. Überschneidet sich mit Data Engineering bei Datenverträgen und Pipelines, fokussiert aber auf ML-Systeme.

von affaan-m/ecc

• Transform
• Serving

Etabliert die Qualitätslatte eines Projekts als schriftlichen Vertrag und hindert Agents daran, sie still und leise zu senken. Befragt den Nutzer, welche Dimensionen wichtig sind, liefert vernünftige Standard-Schwellenwerte, wenn er keine Zahl im Kopf hat, hält alles in CONSTRAINTS.md fest und überwacht den Diff auf eine abgeschwächte Latte — neue @ts-ignore- oder eslint-disable-Unterdrückungen, übersprungene oder gelöschte Tests, entfernte Assertions, nicht implementierte Stubs, heruntergesetzte Schwellenwerte. Verwenden, wenn keine Qualitätslatte schriftlich festgehalten ist, wenn der Nutzer sagt "set up constraints" oder "define our standards", wenn der Nutzer die Dimensionen, die ihm wichtig sind — Barrierefreiheit, Web-Performance, Coverage — als erzwungene Constraints einrichten möchte, wenn ein Agent immer wieder Prüfungen stummschaltet oder Tests überspringt, um auf Grün zu kommen, wenn du einen Coverage- oder Performance-Schwellenwert brauchst und nicht weißt, welche Zahl du wählen sollst, oder wenn ein Agent mehr Code schreibt, als irgendjemand lesen wird.

von addyosmani/agent-skills

• Transform