Récupération de données en fonction des conditions à l'aide de pymongo

J'essaie de récupérer des données basées sur des requêtes basées sur des filtres. En ce moment j'utilise

 filter_stuff = {'url': 1, 'organization_name': 1, 'hum_pred':1, 'ml_pred':1, '_id': 0}
 myData = list(crawlcol.find({'hum_pred': 'null'}, filter_stuff))

Cela va récupérer les données où hum_predont des valeurs null.

hum_predet ml_predaura des valeurs valid invalidounull

Comment est-il possible de récupérer des données qui ont des valeurs de champ hum_pred is nulletml_pred is valid or invalid

exemples de données

[
 {"url":"www.example1.com","organization_name":"abc","ml_pred":"Valid", "hum_pred":"invalid"},
 {"url":"www.example2.com","organization_name":"gvg","ml_pred":"Invalid", "hum_pred":"null"},
 {"url":"www.example3.com","organization_name":"hsg","ml_pred":"null", "hum_pred":"null"},
 {"url":"www.example4.com","organization_name":"hga","ml_pred":"Valid", "hum_pred":"valid"},
 {"url":"www.example5.com","organization_name":"tre","ml_pred":"Invalid", "hum_pred":"valid"}
 ]

Production attendue

[{"url":"www.example2.com","organization_name":"gvg","ml_pred":"Invalid", "hum_pred":"null"}]


Solution du problème

La requête ressemblera à

myData = list(crawlcol.find({"$and": [{"ml_pred": {"$ne": "null"}},{"hum_pred": {"$eq": "null"}}]}))

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

Comment signer la connexion OKEx API version 5 avec websockets ?

Bien que cette question ait reçu une réponse pour les versions précédentes de l'API OKEx utilisant REST, elle ne l'a pas été pour la dernière version 5 de l'API utilisant des websockets. Les docs sont ici. Je reçois l'erreur suivante {"event":"error","msg":"Invalid sign","code":"60007"} , il doit donc y avoir un problème avec l'algorithme de chaîne de signature, mais je n'arrive pas à identifier où je fais une erreur. import hmac import json import time import hashlib import asyncio import websockets passphrase = "XXXX" secret_key = b"XXXX" api_key = "XXXX" timestamp = int(time.time()) print("timestamp: " + str(timestamp)) sign = str(timestamp) + 'GET' + '/users/self/verify' total_params = bytes(sign, encoding= 'utf-8') signature = hmac.new(bytes(secret_key, encoding= 'utf-8'), total_params, digestmod=hashlib.sha256).digest() sign...
Lire la suite

La fonction GCP Cloud pour écrire des données dans BigQuery s'exécute avec succès, mais les données n'apparaissent pas dans la table BigQuery

Image
J'exécute la fonction cloud suivante. Il s'exécute avec succès et indique que les données ont été chargées dans la table. Mais lorsque j'interroge BigQuery, aucune donnée n'a été ajoutée. Je ne reçois aucune erreur et aucune indication que cela ne fonctionne pas. from google.cloud import bigquery import pandas as pd def download_data(event, context): df = pd.read_csv('https://covid.ourworldindata.org/data/ecdc/full_data.csv') # Create an empty list Row_list =[] # Iterate over each row for index, rows in df.iterrows(): # Create list for the current row my_list =[rows.date, rows.location, rows.new_cases, rows.new_deaths, rows.total_cases, rows.total_deaths] #print(my_list) # append the list to the final list Row_list.append(my_list) ## Get Biq Query Set up client = bigquery.Client() table_id = "<project_name>.raw.daily_load" table = client.get_table(table_id) print(client) print(table_id) print(table) errors = client.insert_rows(...
Lire la suite

Le shell POSIX (sh) redirige stderr vers stdout et capture stderr et stdout dans des variables

Je voudrais rediriger stderr vers stdout afin qu'un terminal les imprime tous les deux lors de l'exécution d'une commande, mais je voudrais également les capturer tous les deux dans des variables distinctes. J'ai réussi à y parvenir dans Bash (version 4.4.20(1)-release): #!/bin/bash echo "terminal:" { err="$(find / -maxdepth 2 -iname 'tmp' -type d 2>&1 1>&3 3>&- | tee /dev/stderr)"; ec="$?"; } 3>&1 | tee /dev/fd/4 2>&1; out=$(cat /dev/fd/4) echo "stdout:" && echo "$out" echo "stderr:" && echo "$err" cela donne souhaité: terminal: find: '/root': Permission denied /tmp /var/tmp find: '/lost+found': Permission denied stdout: /tmp /var/tmp stderr: find: '/root': Permission denied find: '/lost+found': Permission denied mais j'ai un problème pour convertir ce script en POSIX sh /bin/sh #!/bin/sh echo "term...
Lire la suite