مهندس داده

توضیحات

شرح وظایف:
طراحی و توسعه Data Pipeline برای پردازش داده‌های حجیم در معماری‌های Batch و Streaming.
پیاده‌سازی و نگهداری فرایندهای ETL/ELT با هدف یکپارچه‌سازی داده از منابع مختلف.
مشارکت در معماری Data Warehouse و Data Mart و تدوین مدل‌های داده متناسب با نیازهای تحلیلی.
تحلیل و بهینه‌سازی Queryهای SQL و شناسایی گلوگاه‌های عملکردی در پردازش داده.
کنترل کیفیت داده‌ها از نظر صحت، کامل‌بودن، سازگاری و وجود رکوردهای تکراری یا نامعتبر.
عیب‌یابی خطاهای Pipeline و ارتقای پایداری فرایندهای انتقال و پردازش اطلاعات.
پیاده‌سازی سازوکارهای پایش، ثبت لاگ و اجرای مجدد فرایندهای ناموفق.
تهیه مستندات فنی مربوط به ساختار داده‌ها، جریان‌های انتقال و فرایندهای پردازشی.
تعامل مستمر با تیم‌های BI، تحلیل داده، DBA و سایر بخش‌های فنی برای پاسخ‌گویی به نیازهای اطلاعاتی سازمان.
شرایط و مهارت‌های موردنیاز:
۲ تا ۳ سال تجربه مرتبط در مهندسی داده، پردازش داده یا حوزه انبار داده.
تسلط به SQL و تجربه کار با PostgreSQL.
سابقه عملی در توسعه ETL/ELT و Data Pipeline.
تسلط کامل بر Apache Spark و Spark SQL.
تسلط کامل بر Apache Kafka و آشنایی با مفاهیم پردازش جریانی.
شناخت کامل اصول Data Warehouse، Data Mart و مدل‌سازی داده.
توانایی بررسی Execution Plan، شناخت Indexها و بهینه‌سازی Queryها.
مهارت در تحلیل مسائل فنی و ارائه راهکارهای پایدار و قابل نگهداری.
مهارت‌های امتیازی:
آشنایی با ابزارهای هوش تجاری، به‌ویژه Power BI.
تجربه در یکپارچه‌سازی داده و طراحی کنترل‌های Data Quality.
سابقه بهبود عملکرد پردازش داده در مقیاس بالا.
آشنایی با ابزارهای زمان‌بندی و ارکستراسیون جریان‌های داده.
آشنایی با Git، تست‌نویسی و Docker.
ویژگی‌های فردی:
ذهن تحلیل‌گر و رویکرد مسئله‌محور.
دقت در کار با داده‌ها و توجه به صحت نتایج.
توانایی مستندسازی و انتقال دانش فنی.