Receta Python 3 No. 4-13: Creación de Tuberías de Procesamientos de Datos

1. Problema

Crear una tubería (o en inglés, pipeline) para el procesamiento de datos.

2. Solución

Para procesar grandes volúmenes de datos de forma secuencial usando tuberías (o pipelines) se recurre a funciones generadores (Beazly, Jones, 2013).

Este tipo de técnica es tremendamente podereosa para otras situaciones como parseo, lectura en tiempo real de fuentes de datos, solicitud recurrente de datos por algún canal de comunicación, entre otras.

3. Código Python 3

Archivo Python tuberias-procesamiento-datos.py [enlace alternativo]:

Este programa se puede probar sobre el directorio www de un servidor Web (e.g., Apache). Al final de la ejecución se obtendrá la cantidad de bytes que ocupan un conjunto de líneas que cumplen determinado patrón.

Lo interesante de este programa es la operación secuencial de conjunto de archivos por medio de tuberías.

4. Literatura & Enlaces

Beazly D, Jones B. K. (2013). Python Cookbook, Third Edition. United States: O'Reilly Media.

O