Data Engineer

توضیحات

ما در ستاد مرکزی شرکت افق کوروش مشتاق همکاری با یک Data Engineer برای پیوستن به تیم خود در ستاد مرکزی تهران هستیم.



شرایط احراز



تسلط بر Apache Spark و Spark SQL و تجربه عملی در طراحی و بهینه‌سازی پردازش‌های توزیع‌شده و حجیم.
تسلط بر طراحی و توسعه Data Pipeline در معماری‌های Batch و Streaming.
توانایی تحلیل و بهینه‌سازی Performance، مدیریت حافظه، پارتیشن‌بندی و پردازش داده‌های حجیم.
تسلط بر Apache Kafka و مفاهیم Event-Driven Architecture و Stream Processing.
تسلط بر مفاهیم Change Data Capture (CDC)، پردازش رویدادها، مدیریت داده‌های تکراری و تضمین صحت انتقال داده.
آشنایی با Debezium و روش‌های استخراج افزایشی داده از پایگاه‌های داده عملیاتی
تسلط بر Apache Airflow و طراحی، توسعه، زمان‌بندی و مانیتورینگ Workflowهای داده
تسلط عملی بر یکی از دیتابیس های ClickHouse و StarRocks و توانایی طراحی و پیاده‌سازی زیرساخت‌های تحلیلی با حجم داده و هم‌زمانی بالا.
تسلط بر مفاهیم Data Lake، Lakehouse و معماری‌های چندلایه Bronze، Silver و Gold
آشنایی با Catalogهای سازگار با Apache Iceberg و نحوه یکپارچه‌سازی آن‌ها با موتورهای پردازش و تحلیل داده.
آشنایی با Ceph RGW، MinIO یا فناوری‌های مشابه، مزیت محسوب می‌شود.
آشنایی با مفاهیم Data Warehouse، Data Mart و Semantic Layer


مسئولیت‌های اصلی



طراحی و توسعه Data Pipeline برای پردازش داده‌های حجیم در معماری‌های Batch و Streaming.
طراحی و پیاده‌سازی Data Model مناسب برای نیازهای تحلیلی و عملیاتی
پیاده‌سازی و توسعه معماری Lakehouse
توسعه و بهینه‌سازی پایگاه‌های داده تحلیلی
تعامل مستمر با تیم‌های BI، تحلیل داده، DBA و سایر بخش‌های فنی برای پاسخ‌گویی به نیازهای اطلاعاتی سازمان.
امنیت و مدیریت دسترسی داده
مستندسازی و انتقال دانش


به منظور رعایت اصول حاکمیت شرکتی، پیشگیری از تعارض منافع، حفظ عدالت و شفافیت در فرآیند جذب و استخدام، امکان استخدام افرادی که دارای نسبت خویشاوندی درجه یک و دو با کارکنان شاغل در مجموعه هستند، در حال حاضر وجود ندارد.



افق کوروش هرروز در حال رشد کردن و بزرگ شدن است و فرصت رشد و ایجاد تغییرات سازنده را دارید.