• NYC311ServiceRequest
  • 1 Introducción
    • 1.1 Descripción del Problema
    • 1.2 Objetivos del producto de datos
      • 1.2.1 Objetivo generales
      • 1.2.2 Objetivos específicos
    • 1.3 Predicción
    • 1.4 Población objetivo
  • 2 Set de datos
    • 2.1 Frecuencia de actualización de datos
  • 3 Data Pipeline e Infraestructura de AWS
    • 3.1 Data Pipeline
      • 3.1.1 Deployment
      • 3.1.2 Desarrollo
    • 3.2 Infraestructura AWS
      • 3.2.1 Configuración del bastión
      • 3.2.2 addus.sh
      • 3.2.3 Agregar llaves para conexión
      • 3.2.4 EC2 procesamiento
      • 3.2.5 Para levantar cluster
  • 4 Governanza de Datos
    • 4.1 Linaje de Datos: Metadatos y Diseño de Tablas(RDS) para la fase del Extract, Load and Transform(ETL)
      • 4.1.1 Raw
      • 4.1.2 Preprocessed
      • 4.1.3 Clean
      • 4.1.4 Semantic
      • 4.1.5 ML preprocessing
    • 4.2 Linaje de Datos: Metadatos y Diseño de Tablas(RDS) para la fase: Modeling
    • 4.3 Linaje de Datos: Metadatos y Diseño de Tablas(RDS) para la fase: Unit Testing
  • 5 Exploratory Data Analysis (EDA)
    • 5.1 Hallazgos
      • 5.1.1 Estructura Inicial
      • 5.1.2 Valores nulos
      • 5.1.3 Registros con mayúsculas y minúsculas
      • 5.1.4 Valores únicos
      • 5.1.5 Quejas según su estatus
      • 5.1.6 Quejas según municipio
      • 5.1.7 Quejas según agencia
      • 5.1.8 Quejas según tipo de quejas
      • 5.1.9 Ruido \(\bigcup\) NYPD
      • 5.1.10 Quejas por año
    • 5.2 Clean
  • 6 Modelos
    • 6.1 Feature engineering
    • 6.2 Tuneo de hiperparámetros
    • 6.3 Selección de Modelos
  • 7 Métricas de Desempeño
  • 8 Continuous integration CI
    • 8.1 Supuestos
    • 8.2 Pruebas unitarias
  • 9 Bias y Fairness
    • 9.1 Atributo protegido
    • 9.2 Grupo de referencia
    • 9.3 Métricas de equidad y sesgo
    • 9.4 Input
    • 9.5 Resultados
  • 10 Solución Propuesta: Producto Final
    • 10.1 Backend
    • 10.2 Frontend
  • 11 Orquestación del flujo de trabajo
    • 11.1 Pipeline principal
      • 11.1.1 DAG Asociado
    • 11.2 Pipeline ML-Preprocessing- MetaTestPredictions
  • 12 Referencias
  • Published with bookdown

NYC 311 Service Request Data Product

Capítulo 12 Referencias

Sitios de internet consultados:

  • Dssg/aequitas

  • The bias and Fairness Audit Toolkit for Machine Learning

  • Aequitas

  • Bokeh

  • FoxyProxy

  • Apache Zeppelin

  • Luigi