Hadoop : l'écosystème

Formation : 13866

RÉFÉRENCE INTERNE DE LA FORMATION :

IBD07

Description de la formation

Disposer d'une vision claire des différents éléments de l'écosystème Hadoop, projet Open Source initié par Google, destiné à faciliter le stockage, l’exploitation et l’analyse de très grands volumes d’information hébergés sur plusieurs machines en réseaux
Être à l’aise avec les concepts et termes propres à Hadoop et comprendre les rôles et les interactions des différents composants d’Hadoop au travers d’exemples significatifs

Introduction
Rappels sur NoSQL
Le théorème CAP
Historique du projet hadoop
Les fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, ...
Exemples de cas d'utilisation sur des grands projets
Les principaux composants : HDFS pour le stockage et YARN pour les calculs
Les distributions et leurs caractéristiques : HortonWorks, Cloudera, MapR, GreenPlum, Apache, ...

Architecture
Terminologie : NameNode, DataNode, ResourceManager
Rôle et interactions des différents composants
Présentation des outils :
. d'infrastructure (ambari, avro, zookeeper)
. de gestion des données (pig, oozie, falcon, pentaho, sqoop, flume)
. d'interfaçage avec les applications GIS
. de restitution et requêtage : webhdfs, hive, hawq, impala, drill, stinger, tajo, mahout, lucene, elasticSearch, Kibana
Les architectures connexes : spark, cassandra

Exemples interactifs
Démonstrations sur une architecture Hadoop multi-noeuds.
Mise à disposition d'un environnement pour des exemples de calcul
Travaux pratiques : Recherches dans des données complexes non structurées

Applications
Cas d'usages de Hadoop
Infrastructures hyperconvergées avec les appliances Hadoop
Calculs distribués sur des clusters Hadoop

Destinataires de la formation

Cette formation s'adresse à toute personne souhaitant comprendre les mécanismes Hadoop et le rôle de chaque composant dans un projet Big Data.

Pré-requis

Mots-clés en rapport avec la formation

formation hadoop apache , hadoop , big data

Coordonnées du contact

Cette Charte énonce des principes de "bonne conduite" permettant à tous les professionnels de la prestation informatique (ESN/SSII, Directions Informatiques, DRH, Directions Achats, Responsables de Formation, Centres de Formation et Indépendant) de conclure des affaires sur HiTechPros dans un climat de confiance, dans un esprit "gagnant - gagnant" et dans le respect de la législation en vigueur.

Elle s’applique à tous et vous acceptez de la respecter.

Nous vous invitons à nous signaler systématiquement par mail tout manquement à cette Charte par un acteur de la place de marché.

Afin de maintenir une qualité irréprochable, HiTechPros se réserve le droit d’exclure à tout moment et sans préavis un acteur ne respectant pas cette Charte.

Ne communiquez jamais votre mot de passe HiTechPros à un tiers (il engage votre responsabilité sur le site).

ARTICLE 1 – OBLIGATIONS DES UTILISATEURS

1.1. Obligations pour tous les utilisateurs :

Mettre à jour les données le concernant au minimum une fois tous les 6 mois : "dossier société" - pour les sociétés - et "dossier carrière" pour les indépendants ;
Satisfaire à toutes les obligations légales et réglementaires
Ne pas reproduire ou extraire des données, notamment par l’emploi de robots ;
Ne pas interférer avec l’utilisation ou la jouissance par une autre personne du Site Internet ;
Ne pas créer des liens profonds vers le contenu du Site Internet dans le cadre d’un autre site Internet ;
Ne pas utiliser les Services et le Site pour faire la promotion de son activité ou de celle d’un tiers. A ce titre, il s’engage notamment à ne pas envoyer de message publicitaire aux Utilisateurs du Site ou à les démarcher ;
Garder confidentiels tous les échanges qu’il aurait eu avec d’autres Utilisateurs du Site et s’interdire de partager avec tout tiers tout échange, information ou extrait de conversation provenant de la messagerie du Site ;
Ne mentionner aucun nom de personne ou de société en dehors des champs de saisie prévus à cet effet ;
Ne mentionner aucun nom de personne ou de société en dehors des champs de saisie prévus à cet effet ;
Donner à tout moment une image réelle de sa société ou de ses compétences proposées ;
Toujours signer un contrat avant le début d’une prestation ;
Respecter scrupuleusement les clauses du contrat signé, notamment en ce qui concerne les délais de règlement / clause de non concurrence ;
Ne jamais chercher à débaucher du personnel salarié de l’autre partie ;
Ne jamais constituer de mailing list à partir d’adresses obtenues auprès d’utilisateurs de HITECHPROS.COM ;
Répondre à toutes les sollicitations des clients (ESN/SSII, DI) émanant de la bourse des services informatiques.

S’agissant des Contenus qu’il met en ligne, l’Utilisateur s’engage à :

Déposer uniquement des annonces concernant la prestation informatique pour des missions de réalisation et maintenance de logiciels, ingénierie et intégration, études, conseils et formations, ...;
Assumer l’entière responsabilité des contenus qu’il met en ligne et à faire son affaire personnelle de toutes réclamations et/ou procédures, quelqu’ en soit les formes et natures, formulées contre HiTechPros et qui se rattacheraient directement ou indirectement aux Contenus hébergés sur le Site.

Par ailleurs, l’Utilisateur s’interdit de :

Diffuser tout matériel encourageant les actes qui constituent une infraction pénale, un crime, qui pourrait entraîner une responsabilité pénale ou civile, ou autrement constituer une violation de toute loi ou réglementation ;
Diffuser tout matériel encourageant l’accomplissement d’actes constitutifs d’agressions, d’agressions sexuelles, de vol qualifié, d’extorsion, de destruction ou de dommages délibérés dangereux pour les personnes, terrorisme, délits et délits contre les intérêts fondamentaux de la nation ;
Diffuser tout matériel consistant à tolérer publiquement les crimes de guerre, les crimes contre l’humanité, les crimes de collaboration avec l’ennemi, les crimes d’asservissement, les appels à la sédition, ou constitutifs du révisionnisme ou du négationnisme ;
Faire toute incitation à la discrimination, à la haine ou à la violence contre une personne ou un groupe de personnes en raison de leurs convictions religieuses, de leur sexe ou de leur orientation sexuelle, de leur origine ethnique ou de leur situation de handicap ;
Diffuser tout matériel diffamatoire, harcelant, menaçant, nuisible, vulgaire, obscène ou tout matériel constitutif de fausses nouvelles susceptibles d’affecter l’ordre public ;
Diffuser tout matériel portant atteinte au droit à la vie privée ou aux droits à l’image d’un tiers ou enfreignant les dispositions relatives à la présomption d’innocence ;
Diffuser tout matériel pédophile ou pornographique ou matériel représentant une exploitation sexuelle ou contraire à la morale et aux bonnes mœurs.

Enfin, d’une manière générale, l’Utilisateur s’engage à ne pas transmettre des éléments qui portent atteinte aux droits de propriété intellectuelle ou aux droits des tiers et notamment le droit des marques, le droit de la personne ou le droit d’auteur.

L’Utilisateur est seul responsable de l’ensemble des Contenus qu’il choisit de mettre en ligne sur le Site.

1.2. Obligations pour les offreurs de prestations (ESN/SSII, Centres de formation, Indépendants) :

Toute proposition de profil déposée sur HITECHPROS.COM doit concerner un intervenant salarié effectivement disponible à la date indiquée dans l’annonce ;
S’il est de nationalité étrangère, l’intervenant proposé doit avoir un permis de travail en règle ;
Ne jamais diffuser le profil d’un intervenant plus d'une fois en moins de 7 jours sur la Bourse d'Inter-Contrats ;
Toujours proposer un intervenant aux tarifs du marché (tarif confrères et tarif client final) ;
Toujours envoyer des réponses correspondant précisément à la demande ;
Ne jamais envoyer de publicité de ses services, ne jamais contacter directement le client final d’une ESN/SSII ou d'un Centre de Formation ;
Prévenir en amont des éventuelles contraintes de l’intervenant proposé (congés prévus, contraintes familiales, problèmes de santé...) avant la signature du contrat ;
Ne pas retirer son collaborateur ni arrêter un contrat pour une mission plus rémunératrice.

1.2.1. Obligations uniquement pour les SSII et Centres de Formation :

1.2.2. Obligations uniquement pour les Indépendants :

Avant de proposer ses services ou de répondre à une offre de mission ou de vacation, il est impératif d’être à jour de ses obligations à l’égard de l'URSSAF ;
Le "dossier carrière" doit refléter fidèlement les compétences de l’Utilisateur Indépendant, et uniquement les siennes ;
Ne jamais annuler un rendez-vous pris pour soi par une ESN/SSII chez un de ses clients sans motif valable, au risque de se voir suspendre l’accès à la plateforme ;
Proposer uniquement son propre profil. Il est interdit de publier ou répondre à des offres avec le CV d’un confrère

1.3. Obligations pour les Editeurs de Logiciels :

Mettre à jour régulièrement ses fiches produits : descriptifs, tarifs, page de présentation de son produit sur son site internet ;
Fournir des informations réelles sur ses produits ;

1.4. Obligations pour les Acheteurs de prestations (ESN/SSII, DI, Centres de Formation) :

1.4.1.Obligations uniquement pour les ESN/SSII et Centres de Formation :

Toujours rencontrer le candidat avant d’envoyer son CV ou de le présenter au client final ;
Ne pas donner le nom de son client final avant d’avoir présenté le collaborateur à ce client ;
En cas de liquidation d'un offreur, l'acheteur pourra embaucher le collaborateur et donc assurer au client la continuité de la mission jusqu'à son terme.

1.4.2.Obligations uniquement pour les DI :

Les DI s'engagent à ne jamais s'adresser en direct à l’ESN/SSII "sous-traitante".

1.4.3.Obligations uniquement pour les DI et les ESN/SSII :

Par courtoisie, toujours répondre aux propositions faites par les offreurs

Soit en la rejetant à l’aide du bouton situé en bas de chaque échange,
Soit en contactant directement le vendeur si sa proposition est intéressante.

ARTICLE 2 - LES ENGAGEMENTS DE HITECHPROS

HiTechPros s’engage à :

2.1 Développer un climat de confiance grâce à :

2.2. Conserver un rôle de conseil et d’accompagnement grâce à :

2.3. Maintenir un niveau de protection, sécurité et confidentialité à ses membres :

Par ailleurs, HiTechPros pourra suspendre tout ou partie des Services en cas :

d’intrusion sur la Plateforme susceptible d’affecter le fonctionnement des Services, du Site, et/ou de la Plateforme,
de mauvaise utilisation des Services par un Utilisateur susceptible d’affecter le fonctionnement des Services, du Site et/ou de la Plateforme,
de demande ou sur requête d’une autorité administrative ou judiciaire relative aux Contenus hébergées dans le cadre des Services,
de prêt, par un Utilisateur, de ses identifiants nominatifs à un tiers.

HiTechPros se réserve en outre le droit de faire évoluer ses Services. Des modifications techniques pourront intervenir sans préavis.