Petite annonce et shopping | Indépendant - Freelance | Data engineer datalake confirme annonce libre 2561794

Login Mot de passe ok mot de passe oublié
›      Publier une annonce
 ServicesIndépendant - FreelanceTous les départements




Indépendant - Freelance - ref18260502561794
 

Data Engineer Datalake confirmé

Postée/actualisée le : 26 Mai 2018
Expire le : 24 Août 2018

› Services
› Indépendant - Freelance




Début : ASAP | Durée : longue durée | Région : Saint-Denis (93) | Budget : à définir

------------
Description :
1. SERVICE
Contexte
Nous recherchons un Data Engineer H/F sur la partie DataLake de notre plateforme Big Data pour rejoindre l’équipe IT de la Direction des Systèmes d’Informations.

2. MISSIONS
But/ finalité de la mission
Se charge de l’alimentation et de la gestion de Datalake sous un environnement Hadoop.
Participe aux choix des solutions BigData.
Se charge des développements, tests unitaires et de l’intégration de ces solutions.



3. ACTIVITES
Liste des principales activités

 Assurer le bon fonctionnement de la plateforme Datalake Hadoop multi-tenant.
 Mettre en place les flux de traitement de Datalake permettant de collecter, de nettoyer, d’organiser, et de modéliser efficacement les données dans un environnement BigData
 Connaissances avancées en optimisations des jobs Spark
 Référent technique sur Spark/Hadoop et apporte son expertise technique aux autres membres de l’équipe
 Mettre en place les règles de gestion du contrôle d’accès et de la sécurité au Datalake.
 Traiter les incidents.
 Travailler en étroite collaboration avec le Data Architect, les Métiers ainsi que l’équipe Infrastructure





4. PREREQUIS
Formation initiale et parcours professionnel

- Bac 5 en informatique / école d’ingénieur
- Expérience professionnelle : au minimum 3 ans dans le développement en environnement Big Data

5. COMPETENCES CLES
Connaissances et compétences spécifiques
Pré requis obligatoires :
- Développement dans l’univers Hadoop (technologies : Spark, Hadoop, HBase, Hive, Kafka )
- Maitrise de l’architecture et de l’écosystème Spark/Kafka/Hadoop (technologies : Spark, Spark Streaming, Apache Kafka, Yarn, Druid, HBase, Hive) et les mécanismes de sécurité (Kerberos, Ranger, Sentry, Knox,..)
- A l’aise avec les systèmes Linux (Centos, Debian, .)
- Développements dans les langages : Scala, Python
- Connaissance des outils d’Intégration Continue (Git, )
Serait un plus :
- La connaissance générale de la Business Intelligence
- Connaissance des outils de déploiement (Docker, Ansible,)
- Développement d’API serait un plus
- Expérience dans l’administration de la plateforme Cloudera et/ou Hortonworks

Compétences comportementales

Autonomie technique, rigueur, curiosité, créativité, qualité rédactionnelle, touche à tout, dynamique, force de propositions, discernement, bonne communication orale, esprit d’équipe

Langues .

 Français
 Anglais technique


Data Engineer Datalake confirmé

voir sur le site partenaire


Lutte anti fraude Attention aux arnaques
Aidez-nous à détecter les posteurs peu scrupuleux.
Signaler cette annonce comme douteuse
Conseils aux acheteurs



déposer une annonce

haut de page
9sq SolutionWeb pwd © 2018 Post-Annonces.com - Annonces gratuites pour particuliers et professionnels - cnil 1151346