Existe-t-il un moyen de tracer le résultat sélectionné par freqdist bigrams NLTK?

J'essaie de tracer uniquement la paire de mots pertinente à partir du résultat bigram freqdist
Certains des mots ici ne sont pas pertinents, j'essaie de tracer uniquement les paires qui ont du sens. des idées? Merci


Solution du problème

Ajoutez simplement la dernière ligne comme : tokenized_bg.plot(20) ou tokenized_bg.plot(20, cumulative=True)

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

Comment signer la connexion OKEx API version 5 avec websockets ?

Bien que cette question ait reçu une réponse pour les versions précédentes de l'API OKEx utilisant REST, elle ne l'a pas été pour la dernière version 5 de l'API utilisant des websockets. Les docs sont ici. Je reçois l'erreur suivante {"event":"error","msg":"Invalid sign","code":"60007"} , il doit donc y avoir un problème avec l'algorithme de chaîne de signature, mais je n'arrive pas à identifier où je fais une erreur. import hmac import json import time import hashlib import asyncio import websockets passphrase = "XXXX" secret_key = b"XXXX" api_key = "XXXX" timestamp = int(time.time()) print("timestamp: " + str(timestamp)) sign = str(timestamp) + 'GET' + '/users/self/verify' total_params = bytes(sign, encoding= 'utf-8') signature = hmac.new(bytes(secret_key, encoding= 'utf-8'), total_params, digestmod=hashlib.sha256).digest() sign...
Lire la suite

Comment obtenir des éléments communs dans une liste imbriquée profonde : mes deux solutions fonctionnent mais prennent du temps

J'ai une structure de liste imbriquée comme ci-dessous. Chacune des 4 structures imbriquées représente pour moi des positions libres. Je veux trouver quels éléments sont présents dans les 4 listes imbriquées. ary=[ [[0, 4], [5, 11]], [[0, 2], [0, 4], [5,10]], [[0, 4], [0, 14], [5,11]], [[0, 4], [0, 14], [5,11]] ] Comme ci-dessus, dans la première liste imbriquée [[0, 4], [5, 11]] , le [0,4] est présent dans tous mais [5,11] ne l'est pas. Par conséquent, ma réponse devrait être [[0,4]] ou même juste [0,4]. Je l'ai fait de deux manières. Solution1 : ary1=ary newlist = [item for items in ary for item in items] x=[i for i in ary[0] if newlist.count(i)== len(ary1)] #OUTPUT is x= [[0,4]] Solution2 : x=[] for u in ary[0]: n=[] n=[1 for t in range(1,len(ary)) if u in ary[t]] if len(ary)-1==len(n): x.append(u) #OUTPUT is x= [[0,4]] Ces deux éléments semblent prendre un temps de calcul similaire lorsqu'ils sont vérifiés à l'aide du profileur de ligne. Et c'est...
Lire la suite

Catalogue Spark avec AWS Glue : base de données introuvable

J'ai créé un cluster EMR avec le catalogue Glue Data. Lorsque j'invoque le spark-shell, je peux répertorier avec succès les tables stockées dans une base de données Glue via spark.catalog.setCurrentDatabase("test") spark.catalog.listTables Cependant, lorsque je soumets un travail via spark-submit , j'obtiens une erreur fatale ERROR ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: Database 'test' does not exist.; Je crée ma SparkSession dans le travail soumis via spark-submit via SparkSession.builder.enableHiveSupport.getOrCreate Solution du problème L'ajout de la hive.metastore.client.factory.class configuration au code initiant la session spark a résolu le problème pour moi : SparkSession spark = SparkSession.builder() ... .config("hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory") .enableHiveSupport() .getOrCreate(); c'es...
Lire la suite