Maaş göstərilməyib
Məlumat elmi layihələr idarə edir, ML və DL modellər hazırlayır, Python və R bilikləri tələb olunur.
Apache Spark
Apache Spark, böyük həcmli məlumatların sürətli emalı üçün açıq mənbə platformasıdır. Bu texnologiya, məlumatların real vaxtda analiz edilməsini və emalını təmin edərək, şirkətlərə daha sürətli və effektiv qərarlar qəbul etməyə imkan verir. Apache Spark, xüsusilə məlumat mühəndisləri və analitiklər üçün əhəmiyyətli bir vasitədir, çünki o, məlumatların paralel şəkildə işlənməsini və analitik proseslərin optimallaşdırılmasını təmin edir.
14aktiv vakansiya
Apache Spark bazarda indi
bu gün yenilənibMedian əməkhaqqı—
Şirkət işə götürür10
Açıq vakansiya14
Əsas şəhərBakı
Apache Spark üzrə indi işə götürürlər
Bazar analitikası
Apache Spark bacarığının bazarı — Azərbaycan
Məlumat aktual bazar vakansiyalarını əks etdirir və hər gün yenilənir. Həftəlik dinamika və kabinet analitikası HRX-dədir.
—
Median əməkhaqqı
bütün səviyyələr üzrə · 0 vakansiyaya görə
10
Şirkət işə götürür
hazırda
14
Açıq vakansiya
bu bacarıqla
Bakı
Əsas şəhər
vakansiya sayına görə
Apache Spark üzrə kim işə götürür
Top rollar və median əməkhaqqı.
- Data mühəndisi11 vakansiya
- Data scientist2 vakansiya
- Proqramçı1 vakansiya
Apache Spark ilə nə birləşdirilir
Yanaşı rast gəlinən bacarıqlar.
Apache Spark harada lazımdır
Sahələr üzrə tələb.
93%
7%
Apache Spark bacarığı tələb olunan vakansiyalar
14 vakansiya
Maaş göstərilməyib
Süni intellekt və data analitika layihələrini idarə edir, Python və ML bilikləri tələb olunur.
Maaş göstərilməyib
Bankın əsas sistemlərindən data inteqrasiyası və ETL pipeline-ların hazırlanması üçün 3 il təcrübə tələb olunur
Maaş göstərilməyib
ETL data pipeline-larını dizayn edir və SQL, PL/SQL üzrə ən azı 3 il təcrübəsi var
Maaş göstərilməyib
Məlumatların inteqrasiyası və idarə olunmasını həyata keçirir, Data Engineering üzrə 5-7 il təcrübə tələb olunur.
Maaş göstərilməyib
Data Engineer olaraq SQL, Python və database bilikləri ilə məlumatların emalını həyata keçirir.
Müraciət etAsan müraciətAsan müraciət
Maaş göstərilməyib
Bankın data platformalarını qurur, inkişaf etdirir və PostgreSQL üzrə 3 il təcrübəsi tələb olunur
Maaş göstərilməyib
Böyük həcmli məlumatların emalı və data platformalarının inkişafı üçün 5 il təcrübəli data mühəndisi.
Apache Spark Azərbaycanda niyə tələb olunur
Apache Spark, böyük həcmli məlumatların sürətli emalı üçün açıq mənbə platformasıdır. Bu texnologiya, məlumatların real vaxtda analiz edilməsini və emalını təmin edərək, şirkətlərə daha sürətli və effektiv qərarlar qəbul etməyə imkan verir. Apache Spark, xüsusilə məlumat mühəndisləri və analitiklər üçün əhəmiyyətli bir vasitədir, çünki o, məlumatların paralel şəkildə işlənməsini və analitik proseslərin optimallaşdırılmasını təmin edir.
Azərbaycan iş bazarında Apache Spark-a olan tələbat artmaqdadır. Azercell, PASHA Sığorta, Unibank və Kapital Bank kimi qabaqcıl şirkətlər, böyük həcmli məlumatların idarə olunması və analizi üçün bu texnologiyanı istifadə edir. Apache Spark, məlumat mühəndisləri, məlumat arxitekturları və məlumat analitikləri üçün vacib bir bacarıqdır və bu sahədə ixtisaslaşmış mütəxəssislər üçün geniş iş imkanları təqdim edir.
Bacarıq haqqında qısa
- Kateqoriya
- Məlumat Texnologiyaları
- Giriş səviyyəsi
- orta
- Yaxın rollar
- Data Engineer, Data Architect, Data Analyst, Engineering Manager
Apache Spark — tez-tez verilən suallar
Apache Spark — böyük həcmli məlumatların paylanmış şəkildə emalı üçün açıq mənbəli mühərrikdir. O, işi kompüter klasterləri arasında bölərək məlumatı bəzi ənənəvi alətlərdən (məsələn, Hadoop MapReduce) dəfələrlə sürətli emal edir. Batch və real-vaxt (streaming) emal, SQL-analitika və maşın öyrənməsi tapşırıqlarında istifadə olunur.
Əvvəlcə proqramlaşdırma dili (ən çox Python — PySpark, həmçinin Scala və ya Java) və SQL biliyi lazımdır. Öyrənmə RDD, DataFrame və Spark SQL anlayışları, sonra streaming (Structured Streaming) və MLlib ilə davam edir. Yerli quraşdırma və ya bulud platformalarında (Databricks) real datasetlər üzərində praktika ən effektivdir.
Spark tez-tez Hadoop/HDFS, bulud anbarları (S3), Kafka (streaming), Hive və müxtəlif verilənlər bazaları ilə birlikdə istifadə olunur. İdarəetmə üçün YARN və ya Kubernetes, ən populyar idarə olunan xidmət isə Databricks-dir. PySpark, Scala və SQL API-ləri ilə yazılır.
Bu bacarıq ən çox Data mühəndisi üçün tələb olunur, həmçinin Data mühəndisi, Data scientist, Proqramçı kimi vəzifələrdə rast gəlinir. Data mühəndisləri, big data mütəxəssisləri, data-analitiklər və maşın öyrənməsi mühəndisləri Spark-dan istifadə edir.
Hadoop MapReduce məlumatı əsasən diskdə emal edir, Spark isə mümkün olduqca yaddaşda (in-memory) işlədiyi üçün bəzi yüklərdə 10–100 dəfə sürətlidir. Hadoop həm də anbar (HDFS) və resurs idarəçiliyini (YARN) əhatə edir; Spark yalnız emal mühərrikidir və çox vaxt HDFS və ya bulud anbarı üzərində qurulur. Onlar rəqib deyil, tez-tez birlikdə işləyir.
Apache Spark tələb olunan rollar
Apache Spark ən çox hansı rol və vəzifələrin vakansiyalarında tələb olunur.
