Spark en Python : analyse de données et machine learning

Formation : 13868

RÉFÉRENCE INTERNE DE LA FORMATION :

IIA21

Description de la formation

Comprendre le principe de fonctionnement d’Apache Spark
Utiliser PySpark pour manipuler des données avec Python
Traiter les flux de données en temps réel avec Spark Streaming

Introduction au big data
Environnements big data : Hadoop, Mapreduce, Spark, etc.
Découvrir l’environnement Spark
Utilisation Spark : Quels avantages ?
Comment installer Apache Spark
Quelle infrastructure pour utiliser Spark en entreprise ?
Les principes et fonctionnement de l'environnement Spark : RDD, DataFrame, DataSet...

Manipuler des données avec Python, Pyspark
Rappels sur Python et la manipulation des données
Utilisation de SparkSQL et des DataFrames pour manipuler des données
Bonnes pratiques de Spark pour la manipulation de volume important de données

Architecture et composants de la plateforme Hadoop
Chargement des données depuis Hadoop, depuis des fihiers csv...
Transformer des données (création de DataFrames, ajout de colonnes, filtres...)
Cas pratiques de chargement et de modifications de données avec PySpark

Comprendre MLlib avec les principaux algorithmes d’apprentissage et méthodes statistiques (régression, discrimination, foret aléatoires, etc.)
Utiliser spark.ml pour la machine learning
Traitement de données textuelles

Automatiser vos analyses avec des pipelines
Analyser en temps réel avec Spark streaming
Principe de fonctionnement
Présentation des Discretized Streams
Les différents types de sources
Manipulation de l’API
Comparaison avec Apache Storm

Destinataires de la formation

Cette formation s'adresse à toute personne intéressée par la technologie Spark et sa mise en oeuvre avec le langage Python.

Pré-requis

Cette formation ne nécessite aucun pré-requis même si une connaissance de base du langage Python est recommandée.

Mots-clés en rapport avec la formation

formation Spark , big data , hadoop , IA , Python , Pyspark , MLlib , datastreaming , machine learning

Coordonnées du contact

Cette Charte énonce des principes de "bonne conduite" permettant à tous les professionnels de la prestation informatique (ESN/SSII, Directions Informatiques, DRH, Directions Achats, Responsables de Formation, Centres de Formation et Indépendant) de conclure des affaires sur HiTechPros dans un climat de confiance, dans un esprit "gagnant - gagnant" et dans le respect de la législation en vigueur.

Elle s’applique à tous et vous acceptez de la respecter.

Nous vous invitons à nous signaler systématiquement par mail tout manquement à cette Charte par un acteur de la place de marché.

Afin de maintenir une qualité irréprochable, HiTechPros se réserve le droit d’exclure à tout moment et sans préavis un acteur ne respectant pas cette Charte.

Ne communiquez jamais votre mot de passe HiTechPros à un tiers (il engage votre responsabilité sur le site).

ARTICLE 1 – OBLIGATIONS DES UTILISATEURS

1.1. Obligations pour tous les utilisateurs :

Mettre à jour les données le concernant au minimum une fois tous les 6 mois : "dossier société" - pour les sociétés - et "dossier carrière" pour les indépendants ;
Satisfaire à toutes les obligations légales et réglementaires
Ne pas reproduire ou extraire des données, notamment par l’emploi de robots ;
Ne pas interférer avec l’utilisation ou la jouissance par une autre personne du Site Internet ;
Ne pas créer des liens profonds vers le contenu du Site Internet dans le cadre d’un autre site Internet ;
Ne pas utiliser les Services et le Site pour faire la promotion de son activité ou de celle d’un tiers. A ce titre, il s’engage notamment à ne pas envoyer de message publicitaire aux Utilisateurs du Site ou à les démarcher ;
Garder confidentiels tous les échanges qu’il aurait eu avec d’autres Utilisateurs du Site et s’interdire de partager avec tout tiers tout échange, information ou extrait de conversation provenant de la messagerie du Site ;
Ne mentionner aucun nom de personne ou de société en dehors des champs de saisie prévus à cet effet ;
Ne mentionner aucun nom de personne ou de société en dehors des champs de saisie prévus à cet effet ;
Donner à tout moment une image réelle de sa société ou de ses compétences proposées ;
Toujours signer un contrat avant le début d’une prestation ;
Respecter scrupuleusement les clauses du contrat signé, notamment en ce qui concerne les délais de règlement / clause de non concurrence ;
Ne jamais chercher à débaucher du personnel salarié de l’autre partie ;
Ne jamais constituer de mailing list à partir d’adresses obtenues auprès d’utilisateurs de HITECHPROS.COM ;
Répondre à toutes les sollicitations des clients (ESN/SSII, DI) émanant de la bourse des services informatiques.

S’agissant des Contenus qu’il met en ligne, l’Utilisateur s’engage à :

Déposer uniquement des annonces concernant la prestation informatique pour des missions de réalisation et maintenance de logiciels, ingénierie et intégration, études, conseils et formations, ...;
Assumer l’entière responsabilité des contenus qu’il met en ligne et à faire son affaire personnelle de toutes réclamations et/ou procédures, quelqu’ en soit les formes et natures, formulées contre HiTechPros et qui se rattacheraient directement ou indirectement aux Contenus hébergés sur le Site.

Par ailleurs, l’Utilisateur s’interdit de :

Diffuser tout matériel encourageant les actes qui constituent une infraction pénale, un crime, qui pourrait entraîner une responsabilité pénale ou civile, ou autrement constituer une violation de toute loi ou réglementation ;
Diffuser tout matériel encourageant l’accomplissement d’actes constitutifs d’agressions, d’agressions sexuelles, de vol qualifié, d’extorsion, de destruction ou de dommages délibérés dangereux pour les personnes, terrorisme, délits et délits contre les intérêts fondamentaux de la nation ;
Diffuser tout matériel consistant à tolérer publiquement les crimes de guerre, les crimes contre l’humanité, les crimes de collaboration avec l’ennemi, les crimes d’asservissement, les appels à la sédition, ou constitutifs du révisionnisme ou du négationnisme ;
Faire toute incitation à la discrimination, à la haine ou à la violence contre une personne ou un groupe de personnes en raison de leurs convictions religieuses, de leur sexe ou de leur orientation sexuelle, de leur origine ethnique ou de leur situation de handicap ;
Diffuser tout matériel diffamatoire, harcelant, menaçant, nuisible, vulgaire, obscène ou tout matériel constitutif de fausses nouvelles susceptibles d’affecter l’ordre public ;
Diffuser tout matériel portant atteinte au droit à la vie privée ou aux droits à l’image d’un tiers ou enfreignant les dispositions relatives à la présomption d’innocence ;
Diffuser tout matériel pédophile ou pornographique ou matériel représentant une exploitation sexuelle ou contraire à la morale et aux bonnes mœurs.

Enfin, d’une manière générale, l’Utilisateur s’engage à ne pas transmettre des éléments qui portent atteinte aux droits de propriété intellectuelle ou aux droits des tiers et notamment le droit des marques, le droit de la personne ou le droit d’auteur.

L’Utilisateur est seul responsable de l’ensemble des Contenus qu’il choisit de mettre en ligne sur le Site.

1.2. Obligations pour les offreurs de prestations (ESN/SSII, Centres de formation, Indépendants) :

Toute proposition de profil déposée sur HITECHPROS.COM doit concerner un intervenant salarié effectivement disponible à la date indiquée dans l’annonce ;
S’il est de nationalité étrangère, l’intervenant proposé doit avoir un permis de travail en règle ;
Ne jamais diffuser le profil d’un intervenant plus d'une fois en moins de 7 jours sur la Bourse d'Inter-Contrats ;
Toujours proposer un intervenant aux tarifs du marché (tarif confrères et tarif client final) ;
Toujours envoyer des réponses correspondant précisément à la demande ;
Ne jamais envoyer de publicité de ses services, ne jamais contacter directement le client final d’une ESN/SSII ou d'un Centre de Formation ;
Prévenir en amont des éventuelles contraintes de l’intervenant proposé (congés prévus, contraintes familiales, problèmes de santé...) avant la signature du contrat ;
Ne pas retirer son collaborateur ni arrêter un contrat pour une mission plus rémunératrice.

1.2.1. Obligations uniquement pour les SSII et Centres de Formation :

1.2.2. Obligations uniquement pour les Indépendants :

Avant de proposer ses services ou de répondre à une offre de mission ou de vacation, il est impératif d’être à jour de ses obligations à l’égard de l'URSSAF ;
Le "dossier carrière" doit refléter fidèlement les compétences de l’Utilisateur Indépendant, et uniquement les siennes ;
Ne jamais annuler un rendez-vous pris pour soi par une ESN/SSII chez un de ses clients sans motif valable, au risque de se voir suspendre l’accès à la plateforme ;
Proposer uniquement son propre profil. Il est interdit de publier ou répondre à des offres avec le CV d’un confrère

1.3. Obligations pour les Editeurs de Logiciels :

Mettre à jour régulièrement ses fiches produits : descriptifs, tarifs, page de présentation de son produit sur son site internet ;
Fournir des informations réelles sur ses produits ;

1.4. Obligations pour les Acheteurs de prestations (ESN/SSII, DI, Centres de Formation) :

1.4.1.Obligations uniquement pour les ESN/SSII et Centres de Formation :

Toujours rencontrer le candidat avant d’envoyer son CV ou de le présenter au client final ;
Ne pas donner le nom de son client final avant d’avoir présenté le collaborateur à ce client ;
En cas de liquidation d'un offreur, l'acheteur pourra embaucher le collaborateur et donc assurer au client la continuité de la mission jusqu'à son terme.

1.4.2.Obligations uniquement pour les DI :

Les DI s'engagent à ne jamais s'adresser en direct à l’ESN/SSII "sous-traitante".

1.4.3.Obligations uniquement pour les DI et les ESN/SSII :

Par courtoisie, toujours répondre aux propositions faites par les offreurs

Soit en la rejetant à l’aide du bouton situé en bas de chaque échange,
Soit en contactant directement le vendeur si sa proposition est intéressante.

ARTICLE 2 - LES ENGAGEMENTS DE HITECHPROS

HiTechPros s’engage à :

2.1 Développer un climat de confiance grâce à :

2.2. Conserver un rôle de conseil et d’accompagnement grâce à :

2.3. Maintenir un niveau de protection, sécurité et confidentialité à ses membres :

Par ailleurs, HiTechPros pourra suspendre tout ou partie des Services en cas :

d’intrusion sur la Plateforme susceptible d’affecter le fonctionnement des Services, du Site, et/ou de la Plateforme,
de mauvaise utilisation des Services par un Utilisateur susceptible d’affecter le fonctionnement des Services, du Site et/ou de la Plateforme,
de demande ou sur requête d’une autorité administrative ou judiciaire relative aux Contenus hébergées dans le cadre des Services,
de prêt, par un Utilisateur, de ses identifiants nominatifs à un tiers.

HiTechPros se réserve en outre le droit de faire évoluer ses Services. Des modifications techniques pourront intervenir sans préavis.