Outils logiciels pour les cours Paris II

Cours Paris II

Stages/ Thèses

edit SideBar

Flux Twitter

Twitter envoie un flux de tweets à partir de mots clés. On transforme chaque tweet en un ensemble d'arêtes d'un graphe:


Figure 1

Prérequis :

  • Un compte développeur de Twitter: https://apps.twitter.com qui fournit 4 clés:
    • Consumer Key (API Key) "xyz"
    • Consumer Secret (API Secret) "uvw"
    • Access Token "zabc"
    • Access Token Secret "defg"

Ces clés sont nécessaires à tout accès aux flux Twitter. Tutorial pour la création d'un compte développeur:

https://youtu.be/aB1x7ZsbbaQ

 Les 2 principales méthodes d'accès sont:

Accéder aux flux :

  • Gephi (logiciel de visualisation de graphes)
    • Installer les modules Twitterstreaming et Graphstreaming. Outils, Modules d'extension, Modules d'extension disponibles. Gephi redémarrera.
    • La fenêtre en bas à gauche a 3 onglets: Spatialisation, Twitter streaming et Streaming
      • Dans l'onglet Twitter streaming, suivre "Set Credentials" où vous devez recopier vos 4 clés, puis Add "mot-clé" qui sera le mot-clé qui définit le flux d'arêtes,
      • Dans l'onglet Streaming, vous devez voir "Master Server". Si vous ne voyez rien, faire Nouveau projet (Fichier, Nouveau Projet) et le Master Server apparaitra. Sélectionner le Master Server (Click bouton droit pour Start) et le bouton devient vert.
      • Revenir au bas de l'onglet Twitter streaming pour "Connect" qui démarre la saisie.
      • Choisir "Disconnect" pour arrêter le flux.
  • Python (environnement de programmation)
    • Environnement Anaconda: Python + les modules les plus fréquents
    • Ajouter le module peony qui sert au streaming: "pip install peony-twitter[all]", commande longue à installer. Réponse [y/n] à la fin, répondre "y". Attention il est NECESSAIRE de taper "y" à la fin. Sinon, l'installation est incorrecte.
    • Télécharger le programme GV depuis:
    • Le répertoire courant doit comporter: main.py, config.py, generate_graph.py, window_reservoir_sampling_edges.py et un sous-répertoire data
      • Editer (avec Sublime Text par exemple) config.py pour recopier les 4 clés d'accès.
    • Executer le programme: "python main.py" qui demande plusieurs paramètres:
      • la taille du réservoir (par exemple 200):
      • la taille de la fenêtre d'observation (par exemple 2mins ou 1h=60mins):
      • fréquence des nouvelles fenêtres (par exemple 1min ou 30min, une fraction de la taille de la fenêtre):
      • le mot clé qui détermine le flux (par exemple bitcoin):
      • le seuil pour la taille des composantes connexes (5 ou 10)
    • La sortie du programmme (plusieurs fichiers) se trouve dans le répertoire data:
      • le fichier des composantes: xxx_yyy_components.csv si la date est xxx et le mot clé est yyy
      • les réservoirs: xxx_windows_reservoir_edges_i.csv si la date est xxx et i est le ième réservoir
    • Interprétation de la sortie du programme:
      • Le fichier xxx_yyy_components.csv (lisible par un éditeur ou Excel) a la forme:
      • Date, Keyword, Window, Composante, n, m, n/m, Diamètre. Par exemple
      • xxx, bitcoin, 1, 0, 16, 19, 0.842105, 4
  • Installation Mac
    • Anaconda pour mac :

https://repo.anaconda.com/archive/Anaconda3-5.3.0-MacOSX-x86_64.pkg

  • Dans une fenêtre "Terminal", installez peony avec la même commande: "conda install -c conda-forge peony-twitter[all]". Il faut aussi répondre "y" à la question à la fin.
  • Différences Mac/Windows
    • On peut exécuter python dans toute fenêtre mac. Les variables d'environnement sont globales.
    • On ne peut exécuter Python que dans une fenêtre Anaconda (Anaconda prompt), sous windows.
UP2