Tableau de filtres Python avec multitraitement

En ce moment, je filtre un tableau en utilisant

arr = [a for a in tqdm(replays) if check(a)]

Cependant, avec des centaines de milliers d'éléments, cela prend beaucoup de temps. Je me demandais s'il était possible de le faire avec le multitraitement, idéalement d'une manière pythonique agréable et compacte.

Merci!


Solution du problème

J'avais le même problème en essayant de regrouper des centaines de milliers d'éléments, la solution utilisait https://docs.python.org/3/library/itertools.html

Les performances s'améliorent beaucoup, mais il semble que Python ait des problèmes lors du tri/regroupement/filtrage de grandes collections en mémoire

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

La fonction GCP Cloud pour écrire des données dans BigQuery s'exécute avec succès, mais les données n'apparaissent pas dans la table BigQuery

Image
J'exécute la fonction cloud suivante. Il s'exécute avec succès et indique que les données ont été chargées dans la table. Mais lorsque j'interroge BigQuery, aucune donnée n'a été ajoutée. Je ne reçois aucune erreur et aucune indication que cela ne fonctionne pas. from google.cloud import bigquery import pandas as pd def download_data(event, context): df = pd.read_csv('https://covid.ourworldindata.org/data/ecdc/full_data.csv') # Create an empty list Row_list =[] # Iterate over each row for index, rows in df.iterrows(): # Create list for the current row my_list =[rows.date, rows.location, rows.new_cases, rows.new_deaths, rows.total_cases, rows.total_deaths] #print(my_list) # append the list to the final list Row_list.append(my_list) ## Get Biq Query Set up client = bigquery.Client() table_id = "<project_name>.raw.daily_load" table = client.get_table(table_id) print(client) print(table_id) print(table) errors = client.insert_rows(...
Lire la suite

Erreur Symfony : "Une exception a été levée lors du rendu d'un modèle"

j'essaie d'inclure <link href="{{ asset('css/mystyle.css') }}" rel="stylesheet"/> dans mon fichier twig et le rendre. Mais cela me donne une exception PHP non interceptée Twig_Error_Runtime : "Une exception a été levée lors du rendu d'un modèle ("Le fichier manifeste de l'actif "/../public/build/manifest.json" n'existe pas.") ça marche quand j'utilise link href="css/mystyle.css" rel="stylesheet"/> . Voici mon contrôleur: <?php namespace App\Controller; use Symfony\Component\Routing\Annotation\Route; use Symfony\Bundle\FrameworkBundle\Controller\AbstractController; use Symfony\Component\HttpFoundation\Response; class WelcomeController extends AbstractController { /** * @Route("/", name="welcome") */ public function index() { return $this->render('welcome/index.html.twig'); } } Voici mon modèle de brindille : <!doctype html> ...
Lire la suite

Le shell POSIX (sh) redirige stderr vers stdout et capture stderr et stdout dans des variables

Je voudrais rediriger stderr vers stdout afin qu'un terminal les imprime tous les deux lors de l'exécution d'une commande, mais je voudrais également les capturer tous les deux dans des variables distinctes. J'ai réussi à y parvenir dans Bash (version 4.4.20(1)-release): #!/bin/bash echo "terminal:" { err="$(find / -maxdepth 2 -iname 'tmp' -type d 2>&1 1>&3 3>&- | tee /dev/stderr)"; ec="$?"; } 3>&1 | tee /dev/fd/4 2>&1; out=$(cat /dev/fd/4) echo "stdout:" && echo "$out" echo "stderr:" && echo "$err" cela donne souhaité: terminal: find: '/root': Permission denied /tmp /var/tmp find: '/lost+found': Permission denied stdout: /tmp /var/tmp stderr: find: '/root': Permission denied find: '/lost+found': Permission denied mais j'ai un problème pour convertir ce script en POSIX sh /bin/sh #!/bin/sh echo "term...
Lire la suite