Data Engineer

ירושליםירושלים והסביבהמשרה מלאההייטק - דאטה, BI ואנליטיקה

סיכום המשרה

ארגון ממשלתי באזור ירושלים מגייס Data Engineer
התפקיד כולל: עבודה עם תכנון, פיתוח ותחזוקה של תשתיות נתונים ארגוניות בסביבת On-Premise, הקמת Data Lake מקצה לקצה, פיתוח תהליכי ETL/ELT ו-Pipelines לעיבוד נתונים בנפחים גבוהים, עבודה עם Cloudera וכלי Apache, פיתוח ארכיטקטורת נתונים מבוזרת והכנת תשתיות נתונים לפרויקטי אנליטיקה ו-AI/ML ועוד.

תיאור המשרה

- 4 שנות ניסיון ומעלה, מתוכן 3 שנות ניסיון כ-Data Engineer או בפיתוח Big Data
- ניסיון עם Apache Ecosystem, לרבות Spark, Hive ו-Impala, ועבודה עם Cloudera
- ניסיון בפיתוח תהליכי ETL/ELT באמצעות Python, Scala או Java וכתיבת שאילתות SQL מורכבות
- ניסיון בארכיטקטורות Distributed Systems, מידול נתונים, פיתוח Pipelines ותשתיות נתונים סקיילביליות
- ניסיון בהובלת משימות מקצה לקצה, פתרון בעיות מורכבות ועבודה מול ממשקים מרובים