Bienvenue! Inscrivez-vous et rejoignez notre communaut :)
  • Login:

Bienvenue sur Forum SIG - Systmes d'Information Gographique et Gomatique.

Bienvenue sur le forumSIG. S'il s'agit de votre premire visite, assurez vous de faire une recherche pralable dans les FAQ SIG. Vous devez vous inscrire avant de pouvoir poster.

Affichage des rsultats 1 7 sur 7
  1. #1

    Date d'inscription
    avril 2017
    Emploi
    tudiant gomatique
    Organisme
    ENSG
    Messages
    3

    Par dfaut Rcupration de donnes Twiter, Facebook, Instagram

    bonjour tous,

    je post un message ici car je ne sais pas si ce que je souhaite faire est ralisable ou pas.

    Dans le cadre de mon stage de fin d'tudes je dois rcuprer des informations Twiter, Facebook ou Instagram golocalises et avec des mots-cls. Le but de cette rcupration est de pouvoir placer les informations sur une carte afin de modifier les zones d'ala en particulier pour les inondations.

    Il faudrait donc que je puisse rcuprer les informations (photos, textes ou autres) pour ensuite les ajouter un fond de carte.

    existe-t-il donc des solutions pour faire ce type d'opration ? (python, extension, etc ...).


    Je vous remercie d'avance pour vos rponses.

  2. #2
    Chasseur de Bots
    Date d'inscription
    aot 2011
    Localisation
    Paris > Strasbourg
    Emploi
    Charg de mission SIG
    ge
    34
    Messages
    1 481

    Par dfaut Re : Rcupration de donnes Twiter, Facebook, Instagram


  3. #3

    Date d'inscription
    avril 2017
    Emploi
    tudiant gomatique
    Organisme
    ENSG
    Messages
    3

    Par dfaut Re : Rcupration de donnes Twiter, Facebook, Instagram

    Merci pour ta rponse.

    Je voudrai plus m'orienter vers un script python pour ce projet plutt que vers le web.
    L'explication est simple, je veux pouvoir sur Arcgis rcuprer les informations Facebook Twitter et Instagram entre autres pour les localiser sur un fond de carte de France. L'objectif final tant de confirmer ou de modifier les cartes des zones d'alas par la golocalisation des informations.

    J'ai vu que pour les tweets il existait pas mal de doc et de travaux.
    En revanche pour les autres rseaux je ne sais pas trop comment m'orienter. j'ai trouv la solution du scraping qui permettrait de rcuprer des donnes sur des pages web. est-ce la bonne solution selon vous ? et quel est la meilleure librairie utiliser pour faire ce type de traitement.

  4. #4
    Chasseur de Bots
    Date d'inscription
    aot 2011
    Localisation
    Paris > Strasbourg
    Emploi
    Charg de mission SIG
    ge
    34
    Messages
    1 481

    Par dfaut Re : Rcupration de donnes Twiter, Facebook, Instagram

    Teste des recherches Google comme :

    Twitter API Python
    Facebook API Python
    Instagram API Python

    J'ai regard, j'ai quelques rsultats que je n'ai pas explor.
    Je ne sais pas quelles sont les meilleures librairies, je pense que les officielles sont celles privilgier puis viennent ensuite celles qui sont le plus documentes, utilises dans les rseaux de dveloppeur, les plus rcemment mises jour ...

  5. #5

    Date d'inscription
    avril 2017
    Emploi
    tudiant gomatique
    Organisme
    ENSG
    Messages
    3

    Par dfaut Re : Rcupration de donnes Twiter, Facebook, Instagram

    je post mon code pour la rcupration en temps rel de donnes twitter avec un certains mot cl



    import arcpy
    import json
    import tweepy
    import time
    import csv
    from tweepy.streaming import StreamListener


    #Enter Twitter API Key information obtenu en crant une api twitter
    consumer_key = ''
    consumer_secret = ''
    access_token = ''
    access_secret = ''


    auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
    auth.set_access_token(access_token, access_secret)
    api = tweepy.API(auth)
    # cation d'un fichier csv pour stocker les donnes collctes
    with open("D:/VIGNERON/Output.csv", "w") as csvfile:
    file = csv.writer(csvfile, delimiter=';',quotechar='|', quoting=csv.QUOTE_MINIMAL)
    file.writerow(['Nom_utilisateur'] + ['Date'] + ['Evenement'] + ['Source'] + ['Commune'] + ['Insee'] +['Localisation'] + ['Contenu'] + ['X'] + ['Y'])

    data_list = []

    count = 0
    # entrez votre mot cl dsir
    motcle = "Paris"

    class StdOutListener(StreamListener):
    def on_status(self, status):
    json_data = status._json
    global count
    # compteur modifier selon votre dsire
    if count <= 10 :
    coord = json_data["coordinates"]
    # affichage des tweets seulement si ils possdent une localisation
    if coord != None:
    user = status.user.name.encode('ascii', 'ignore').decode('ascii')
    print ("Nom d'utilisateur : " + user)
    date = str(status.created_at)
    print("Date de publication : " + str(status.created_at))
    evenement = "Innondation"
    print ("Evenement : " + evenement)
    source = "twitter"
    print ("source : " + source )
    commune = "Null"
    print ("Nom de la commune : " + commune)
    insee = "Null"
    print ("Code Insee commune : " + insee)
    localisation = "Null"
    print ("localisation : " + localisation)
    contenu = status.text.encode('ascii', 'ignore').decode('ascii')
    print("Tweet text: " + contenu)
    lon = coord["coordinates"][0]
    lat = coord["coordinates"][1]
    print ("Longitude : " + str(lon))
    print ("Latitude : " + str(lat))
    #criture des infos dans le fichier de sortie
    file = csv.writer(open("D:/VIGNERON/Output.csv", "a"), csvfile, delimiter=';' , quotechar='|' , quoting=csv.QUOTE_MINIMAL )
    file.writerow([user]+[date]+[evenement]+[source]+[commune]+[insee]+[localisation]+[contenu]+[lon]+[lat])

    count += 1
    print count
    return True
    else :
    return False
    file.close()



    def on_error(self, status_code):
    print('Got an error with status code: ' + str(status_code))
    return True # To continue listening

    def on_timeout(self):
    print('Timeout...')
    return True # To continue listening


    #connexion au flux twitter
    listener = StdOutListener()
    stream = tweepy.Stream(auth, StdOutListener())
    stream.filter(track=[motcle])



    le post sur ce sujet peut tre marqu comme rsolu.
    Merci toi Skal.

  6. #6

    Date d'inscription
    avril 2016
    Messages
    279

    Par dfaut Re : Rcupration de donnes Twiter, Facebook, Instagram

    Juste une question d'un œil extrieur (et vraiment pour le coup)

    C'est lgal ????

  7. #7

    Date d'inscription
    juin 2007
    Messages
    32

    Par dfaut Re : Rcupration de donnes Twiter, Facebook, Instagram

    Oui, en gnral, c'est lgal, et le cas est prvu dans les CGU, par exemple, il existe mme des API pour lire des pages LinkedIn.
    C'est pratique pour les jeunes pousses du numrique, pour les aider se dvelopper.

    Par contre, quand le site dveloppe du trafic en masse, le fournisseur de donnes s'en apercevra assez rapidement et changera de modle pour mieux montiser ses contenus lui.

 

 

Discussions similaires

  1. [Format] rcupration donnes BnF en .rdf (xml)
    Par Bouhuiii dans le forum Assistance Technique
    Rponses: 3
    Dernier message: 16/03/2017, 10h18
  2. Compte Instagram
    Par Jeje Pierres Gemmes dans le forum Support, Critiques et Avis de la Communaut SIG
    Rponses: 4
    Dernier message: 26/04/2016, 14h13
  3. [PC] Rcupration de donnes
    Par Kymahri dans le forum Assistance Matriel
    Rponses: 4
    Dernier message: 23/11/2010, 09h03
  4. [GPS] Rcupration des donnees
    Par boumacmilan dans le forum Espace GPS et Solutions Nomades
    Rponses: 0
    Dernier message: 08/06/2009, 02h03

Liens sociaux

Rgles de messages

  • Vous ne pouvez pas crer de nouvelles discussions
  • Vous ne pouvez pas envoyer des rponses
  • Vous ne pouvez pas envoyer des pices jointes
  • Vous ne pouvez pas modifier vos messages
  •