Tableau de filtres Python avec multitraitement

En ce moment, je filtre un tableau en utilisant

arr = [a for a in tqdm(replays) if check(a)]

Cependant, avec des centaines de milliers d'éléments, cela prend beaucoup de temps. Je me demandais s'il était possible de le faire avec le multitraitement, idéalement d'une manière pythonique agréable et compacte.

Merci!


Solution du problème

J'avais le même problème en essayant de regrouper des centaines de milliers d'éléments, la solution utilisait https://docs.python.org/3/library/itertools.html

Les performances s'améliorent beaucoup, mais il semble que Python ait des problèmes lors du tri/regroupement/filtrage de grandes collections en mémoire

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

Comment signer la connexion OKEx API version 5 avec websockets ?

Bien que cette question ait reçu une réponse pour les versions précédentes de l'API OKEx utilisant REST, elle ne l'a pas été pour la dernière version 5 de l'API utilisant des websockets. Les docs sont ici. Je reçois l'erreur suivante {"event":"error","msg":"Invalid sign","code":"60007"} , il doit donc y avoir un problème avec l'algorithme de chaîne de signature, mais je n'arrive pas à identifier où je fais une erreur. import hmac import json import time import hashlib import asyncio import websockets passphrase = "XXXX" secret_key = b"XXXX" api_key = "XXXX" timestamp = int(time.time()) print("timestamp: " + str(timestamp)) sign = str(timestamp) + 'GET' + '/users/self/verify' total_params = bytes(sign, encoding= 'utf-8') signature = hmac.new(bytes(secret_key, encoding= 'utf-8'), total_params, digestmod=hashlib.sha256).digest() sign...
Lire la suite

Comment obtenir des éléments communs dans une liste imbriquée profonde : mes deux solutions fonctionnent mais prennent du temps

J'ai une structure de liste imbriquée comme ci-dessous. Chacune des 4 structures imbriquées représente pour moi des positions libres. Je veux trouver quels éléments sont présents dans les 4 listes imbriquées. ary=[ [[0, 4], [5, 11]], [[0, 2], [0, 4], [5,10]], [[0, 4], [0, 14], [5,11]], [[0, 4], [0, 14], [5,11]] ] Comme ci-dessus, dans la première liste imbriquée [[0, 4], [5, 11]] , le [0,4] est présent dans tous mais [5,11] ne l'est pas. Par conséquent, ma réponse devrait être [[0,4]] ou même juste [0,4]. Je l'ai fait de deux manières. Solution1 : ary1=ary newlist = [item for items in ary for item in items] x=[i for i in ary[0] if newlist.count(i)== len(ary1)] #OUTPUT is x= [[0,4]] Solution2 : x=[] for u in ary[0]: n=[] n=[1 for t in range(1,len(ary)) if u in ary[t]] if len(ary)-1==len(n): x.append(u) #OUTPUT is x= [[0,4]] Ces deux éléments semblent prendre un temps de calcul similaire lorsqu'ils sont vérifiés à l'aide du profileur de ligne. Et c'est...
Lire la suite

Catalogue Spark avec AWS Glue : base de données introuvable

J'ai créé un cluster EMR avec le catalogue Glue Data. Lorsque j'invoque le spark-shell, je peux répertorier avec succès les tables stockées dans une base de données Glue via spark.catalog.setCurrentDatabase("test") spark.catalog.listTables Cependant, lorsque je soumets un travail via spark-submit , j'obtiens une erreur fatale ERROR ApplicationMaster: User class threw exception: org.apache.spark.sql.AnalysisException: Database 'test' does not exist.; Je crée ma SparkSession dans le travail soumis via spark-submit via SparkSession.builder.enableHiveSupport.getOrCreate Solution du problème L'ajout de la hive.metastore.client.factory.class configuration au code initiant la session spark a résolu le problème pour moi : SparkSession spark = SparkSession.builder() ... .config("hive.metastore.client.factory.class", "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory") .enableHiveSupport() .getOrCreate(); c'es...
Lire la suite