<![CDATA[Moy's Data Engineering Blog]]>https://moy8011.comhttps://cdn.hashnode.com/res/hashnode/image/upload/v1761901539380/d1344121-7ec8-43d2-a928-4aea378b59e3.pngMoy's Data Engineering Bloghttps://moy8011.comRSS for NodeSat, 18 Apr 2026 22:38:36 GMT60<![CDATA[Data Modeling]]>https://moy8011.com/data-modelinghttps://moy8011.com/data-modelingSat, 01 Nov 2025 02:36:05 GMTEl modelado de datos es un conocimiento básico de un ingeniero de datos y para mí significa lograr una representación visual de un sistema de información. El objetivo es tratar de ilustrar los tipos de datos y, más importante, qué información se va a almacenar y cómo se relaciona esta. Se trata de interpretar el sistema en tablas y columnas. No es un concepto difícil de aprender, pero es más bien un ejercicio de lógica y organización de los datos.

Estos son algunos recursos que pueden ayudar a desarrollar este conocimiento:

]]><![CDATA[Pandas]]>https://moy8011.com/pandashttps://moy8011.com/pandasFri, 31 Oct 2025 06:59:06 GMTPandas es una libreria de Python que nos ayuda para el analisis y manipulacion de datos. En el mundo de los datos esta libreria se ha convertido en una herramienta basica para cualquier ingeniero de datos. Algunos de los conceptos minimos de Pandas que un ingeniero de datos debe de saber son:

  • dataframe

  • read

  • Selecting or filtering

  • plotting

  • Basic statistics

  • melt/pivot

  • join/merge

Recursos:

]]><![CDATA[Python para Data Engineers]]>https://moy8011.com/python-para-data-engineershttps://moy8011.com/python-para-data-engineersThu, 30 Oct 2025 21:39:52 GMTPython es un lenguaje bastante extenso, pero para un rol de Data Engineer, los conocimientos que se requieren saber normalmente están acotados a unos cuantos. Lo ideal es mantener el foco y concentrarse en las funciones y conocimientos específicos mínimos para un Data Engineer y crecer esta habilidad conforme se vaya requiriendo. De esta manera, podemos reducir el tiempo de aprendizaje del lenguaje.

Primero, separo la importancia de familiarizarse con Python y con su estructura y sintaxis en primera instancia, y después entrar a los conocimientos particulares necesarios para un Data Engineer. Además, dejo fuera de este artículo temas como Pandas o PySpark, a los que les dedicaré artículos por separado por su importancia.

Conceptos basicos

  • Syntax and Data Structures:

    Understanding Python syntax, variables, basic data types (integers, floats, strings, booleans), and fundamental data structures like lists, tuples, dictionaries, and sets.

  • Control Flow:

    Proficiency in using conditional statements (if/elif/else), loops (for, while), and error handling with try-except blocks.

  • Functions:

    Defining and calling functions, understanding arguments, return values, and scope.

  • File Handling:

    Reading from and writing to various file formats, including CSV, JSON, and potentially more advanced formats like Parquet or Avro.

  • Object-Oriented Programming (OOP) Basics:

    Grasping concepts like classes, objects, inheritance, and encapsulation for building modular and reusable code.

Conceptos y Librerias especificas de Data Engineering

  • Pandas:

    Essential for data manipulation and analysis, including reading and writing data, filtering, sorting, merging, and aggregating dataframes.

  • Numpy:

    Important for numerical operations and working with arrays, especially when dealing with large datasets or mathematical computations.

  • Database Connectivity:

    Utilizing libraries like SQLAlchemy, psycopg2 (for PostgreSQL), or pymysql (for MySQL) to connect to and interact with databases.

  • API Interaction:

    Using the requests library to interact with RESTful APIs for data extraction or integration.

  • Datetime Handling:

    Working with datetime objects, managing timezones, and converting between different date and time formats.

  • Automation and Orchestration:

    Understanding how Python can be used to automate tasks, potentially including basic scripting for cron jobs or interacting with orchestration tools like Apache Airflow.

  • Testing and Debugging:

    Writing unit tests for code and effectively debugging Python scripts to identify and resolve issues.

Cursos y temas en Youtube interesantes

Cursos

Gratuitos:

Con costo:

Extras

Realizar los ejercicios y challenges de Python en paginas como HackerRank para agilizar el proceso de aprendizaje:

I’ll keep updating the article, sorry for the spanish-english mix.

]]><![CDATA[¿Que skills necesitas para convertirte en un ingeniero de datos?]]>https://moy8011.com/que-skills-necesitas-para-convertirse-en-un-ingeniero-de-datoshttps://moy8011.com/que-skills-necesitas-para-convertirse-en-un-ingeniero-de-datosThu, 30 Oct 2025 07:45:23 GMTEl rol de un Data Engineer ha ido expandiéndose en los últimos años, además de que cada empresa tiene una interpretación relativamente distinta de la posición.

A continuación, listo los conocimientos por nivel, que yo personalmente considero necesarios para convertirse en un Data Engineer.

Nivel Básico:

Nivel Medio:

  • Data Warehousing

  • Spark Concepts

  • Azure Data Services

  • AWS Data Services

Nivel Avanzado:

  • Databricks

  • AWS Redshift

  • Azure Synapse

  • Snowflake

Agregaré artículos para cada uno de estos puntos, para poder obtener el skill a través de contenido gratuito y/o de paga.

Hay empresas que buscan ingenieros de datos con solamente nivel básico, sin embargo, es más común encontrar posiciones que requieren nivel intermedio.

]]>