Agent Skills para Ingenieros de datos

Implementa validación de calidad de datos con Great Expectations, pruebas de dbt y contratos de datos, cubriendo dimensiones de calidad, pirámides de pruebas y validación de pipelines. Apunta directamente a la faceta de Quality de la ingeniería de datos.

por wshobson/agents

• Transform
• Quality

Optimiza trabajos de Apache Spark con particionamiento, almacenamiento en caché, ajuste de shuffle y gestión de memoria para procesamiento de datos a gran escala. Habilidad central de transformación y procesamiento para ingenieros de datos.

por wshobson/agents

Guía la migración de data warehouse de principio a fin a Amazon Redshift, abarcando descubrimiento, conversión de esquemas/SQL, migración de datos, validación y comparación de rendimiento. Apunta directamente al grupo de tareas de data warehouse.

por aws/agent-toolkit-for-aws

• Storage

Cubre el diseño de esquemas de ClickHouse, los motores MergeTree, la optimización de consultas y la ingesta para cargas de trabajo analíticas de alto rendimiento. Relevante para las facetas de Almacenamiento y Servicio de la ingeniería de datos.

por affaan-m/ecc

• Ingest

Guía oficial de NVIDIA para cuDF GPU DataFrames, aceleración de pandas, dask-cuDF y operaciones ETL como joins, groupby y E/S de Parquet. Directamente relevante para acelerar transformaciones de ingeniería de datos.

por nvidia/skills

• Transform

description: "Servicios de Azure Storage, incluyendo Blob Storage, File Shares, Queue Storage, Table Storage y Data Lake. Responde preguntas sobre niveles de acceso de almacenamiento (hot, cool, cold, archive), cuándo usar cada nivel y comparación de niveles. Proporciona almacenamiento de objetos, recursos compartidos de archivos SMB, mensajería asíncrona, clave-valor NoSQL y análisis de big data. Incluye gestión del ciclo de vida. USE FOR:

por microsoft/azure-skills

• Storage

>- Almacena, recupera y gestiona datos como objetos en buckets de Cloud Storage (Google Cloud Storage, o GCS). Úsalo cuando necesites interactuar con Cloud Storage: crear o configurar buckets, subir, descargar, transmitir o transferir datos, organizar objetos con carpetas, generar URLs firmadas, controlar el acceso (IAM, ACLs, prevención de acceso público), definir clases de almacenamiento y niveles (Standard, Nearline, Coldline, Archive), gestionar costos y ciclo de vida, proteger datos (versionado, cifrado/CMEK, retención y Bucket Lock, retenciones de objetos, eliminación temporal), alojar sitios web estáticos, activar notificaciones de Pub/Sub ante cambios en objetos, montar buckets como sistema de archivos (gcsfuse) u optimizar el rendimiento del almacenamiento a cualquier escala. Abarca la CLI gcloud storage / gsutil, las APIs JSON y XML, librerías cliente, Terraform y servidores MCP de Cloud Storage. No lo uses para almacenamiento en bloque (Persistent Disk), almacenamiento de datos/analítica (BigQuery) ni bases de datos (Cloud SQL, Spanner, Bigtable, Firestore).

por google/skills

• Ingest
• Transform

Consulta y analiza datos en Azure Data Explorer (Kusto/ADX) usando KQL para analítica de logs, telemetría y análisis de series temporales. CUÁNDO: consultas KQL, consultas a bases de datos Kusto, Azure Data Explorer, clústeres ADX, analítica de logs, datos de series temporales, telemetría IoT, detección de anomalías.

por microsoft/azure-skills

| SDK de Azure Data Lake Storage Gen2 para Python. Úsalo para sistemas de archivos jerárquicos, analítica de big data y operaciones de archivos/directorios. Disparadores: "data lake", "DataLakeServiceClient", "FileSystemClient", "ADLS Gen2", "espacio de nombres jerárquico".

por microsoft/skills

• Storage

>- Crea buckets de Cloud Storage (Google Cloud Storage o GCS). Analiza la carga de trabajo (datos sensibles, alojamiento de medios, ingesta, alojamiento web, archivado, copias de seguridad, registro, analítica, IA/ML o uso general), valida la configuración de seguridad a nivel de proyecto y diseña una configuración segura por defecto y rentable (ubicación, clase de almacenamiento, acceso uniforme a nivel de bucket, prevención de acceso público, eliminación temporal, ciclo de vida) antes de crearlo. Úsalo siempre que un usuario quiera crear, hacer, configurar, aprovisionar o levantar un bucket, o necesite almacenamiento de objetos para una app, servicio, pipeline o conjunto de datos — incluso un bucket "simple" o "predeterminado", o cuando la creación del bucket sea un paso dentro de un flujo de trabajo mayor. Genera o ejecuta la creación mediante gcloud, la API JSON/REST, Terraform o bibliotecas cliente de SDK (C++, Java, Python, Go). No lo uses para nada que no sea crear buckets nuevos — para subidas, descargas, cambios de acceso o reconfigurar buckets existentes, usa google-cloud-storage-basics.

por google/skills

• Ingest
• Storage
• Transform

Crea diagramas de arquitectura, flujo de trabajo, secuencia, flujo de datos y ciclo de vida/estado pulidos y validados como HTML autónomo explorable con SVG en línea, temas claro/oscuro, movimiento de trazas opcional y exportación a PNG/JPEG/WebP/SVG/WebM. Acepta requisitos en lenguaje natural o entradas pegadas de Mermaid flowchart, sequenceDiagram y stateDiagram; inspecciona la evidencia del repositorio cuando el diagrama deba reflejar código real. Úsala cuando el usuario pida visualizar arquitectura de sistemas, infraestructura, topología de nube/seguridad/red, flujos de trabajo técnicos, secuencias de llamadas a API, ciclos de vida de solicitudes, pipelines de datos, ETL/ELT, linaje de datos, máquinas de estado, o convertir/embellecer Mermaid.

por tt-a1i/archify

• Transform

Diseña y revisa capas de datos de DynamoDB a partir de patrones de acceso, cubriendo claves, GSIs, Streams, Global Tables e integraciones sin ETL. Diseño de capa de almacenamiento relevante para ingenieros de datos en AWS.

por aws/agent-toolkit-for-aws

• Transform

Guía la selección del motor de Amazon Timestream for InfluxDB, el aprovisionamiento, el diseño de esquema y la migración para cargas de trabajo de series temporales. Skill relevante de la capa de almacenamiento para ingenieros de datos que manejan datos de series temporales.

por aws/agent-toolkit-for-aws

Necesita (declarado): MCP server

Pipeline de limpieza de datos de riesgo crediticio y selección de variables que cubre tasas de valores faltantes, IV, PSI y filtrado por correlación. Trabajo de calidad de datos y preprocesamiento adyacente a la ingeniería de datos, pero específico del dominio de modelado de crédito.

por github/awesome-copilot

• Transform
• Quality

Construye pipelines MLOps de extremo a extremo, desde la preparación de datos hasta el entrenamiento, la validación y el despliegue con orquestación de DAG. Se solapa con la ingeniería de datos en la ingesta y la orquestación, pero se centra en ML.

por wshobson/agents

• Ingest
• Transform
• Orchestrate

Flujo de trabajo de ingeniería ML en producción que cubre contratos de datos, entrenamiento reproducible, evaluación, despliegue y monitoreo. Se solapa con la ingeniería de datos en contratos de datos y pipelines, pero se centra en sistemas ML.

por affaan-m/ecc

• Transform
• Serving

Establece el estándar de calidad de un proyecto como un contrato escrito y evita que los agentes lo bajen silenciosamente. Entrevista al usuario sobre qué dimensiones importan, proporciona umbrales predeterminados sensatos cuando no tiene un número en mente, registra todo en CONSTRAINTS.md y vigila el diff en busca de un estándar debilitado: nuevos @ts-ignore o supresiones eslint-disable, tests omitidos o eliminados, aserciones eliminadas, stubs sin implementar, umbrales reducidos. Úsalo cuando no haya un estándar de calidad escrito, cuando el usuario diga "configura restricciones" o "define nuestros estándares", cuando el usuario quiera dimensiones que le importan —accesibilidad, rendimiento web, cobertura— establecidas como restricciones aplicadas, cuando un agente siga silenciando comprobaciones u omitiendo tests para llegar a verde, cuando necesites un umbral de cobertura o rendimiento y no sepas qué número elegir, o cuando un agente escriba más código del que nadie va a leer.

por addyosmani/agent-skills

• Transform