Fractionnement du chargeur de données pytorch en tableaux numpy

En principe, j'aimerais faire le contraire de ce qui a été fait ici https://datascience.stackexchange.com/questions/45916/loading-own-train-data-and-labels-in-dataloader-using-pytorch.

J'ai un chargeur de données Pytorch train_dataloaderavec shape (2000,3). Je souhaite stocker les 3 colonnes du chargeur de données dans 3 tableaux numpy distincts. (La première colonne du chargeur de données contient les données, la deuxième colonne contient les étiquettes.)

J'ai réussi à le faire pour le dernier lot du train_dataloader(voir ci-dessous), mais malheureusement je n'ai pas pu le faire fonctionner pour l'ensemble train_dataloader.

for X, y, ind in train_dataloader:
 pass
train_X = np.asarray(X, dtype=np.float32)
train_y = np.asarray(y, dtype=np.float32)

Toute aide sera la bienvenue!


Solution du problème

Vous pouvez collecter toutes les données :

all_X = []
all_y = []
for X, y, ind in train_dataloader:
 all_X.append(X)
 all_y.append(y)
train_X = torch.cat(all_X, dim=0).numpy()
train_y = torch.cat(all_y, dim=0).numpy()

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

La fonction GCP Cloud pour écrire des données dans BigQuery s'exécute avec succès, mais les données n'apparaissent pas dans la table BigQuery

Image
J'exécute la fonction cloud suivante. Il s'exécute avec succès et indique que les données ont été chargées dans la table. Mais lorsque j'interroge BigQuery, aucune donnée n'a été ajoutée. Je ne reçois aucune erreur et aucune indication que cela ne fonctionne pas. from google.cloud import bigquery import pandas as pd def download_data(event, context): df = pd.read_csv('https://covid.ourworldindata.org/data/ecdc/full_data.csv') # Create an empty list Row_list =[] # Iterate over each row for index, rows in df.iterrows(): # Create list for the current row my_list =[rows.date, rows.location, rows.new_cases, rows.new_deaths, rows.total_cases, rows.total_deaths] #print(my_list) # append the list to the final list Row_list.append(my_list) ## Get Biq Query Set up client = bigquery.Client() table_id = "<project_name>.raw.daily_load" table = client.get_table(table_id) print(client) print(table_id) print(table) errors = client.insert_rows(...
Lire la suite

Erreur Symfony : "Une exception a été levée lors du rendu d'un modèle"

j'essaie d'inclure <link href="{{ asset('css/mystyle.css') }}" rel="stylesheet"/> dans mon fichier twig et le rendre. Mais cela me donne une exception PHP non interceptée Twig_Error_Runtime : "Une exception a été levée lors du rendu d'un modèle ("Le fichier manifeste de l'actif "/../public/build/manifest.json" n'existe pas.") ça marche quand j'utilise link href="css/mystyle.css" rel="stylesheet"/> . Voici mon contrôleur: <?php namespace App\Controller; use Symfony\Component\Routing\Annotation\Route; use Symfony\Bundle\FrameworkBundle\Controller\AbstractController; use Symfony\Component\HttpFoundation\Response; class WelcomeController extends AbstractController { /** * @Route("/", name="welcome") */ public function index() { return $this->render('welcome/index.html.twig'); } } Voici mon modèle de brindille : <!doctype html> ...
Lire la suite

Le shell POSIX (sh) redirige stderr vers stdout et capture stderr et stdout dans des variables

Je voudrais rediriger stderr vers stdout afin qu'un terminal les imprime tous les deux lors de l'exécution d'une commande, mais je voudrais également les capturer tous les deux dans des variables distinctes. J'ai réussi à y parvenir dans Bash (version 4.4.20(1)-release): #!/bin/bash echo "terminal:" { err="$(find / -maxdepth 2 -iname 'tmp' -type d 2>&1 1>&3 3>&- | tee /dev/stderr)"; ec="$?"; } 3>&1 | tee /dev/fd/4 2>&1; out=$(cat /dev/fd/4) echo "stdout:" && echo "$out" echo "stderr:" && echo "$err" cela donne souhaité: terminal: find: '/root': Permission denied /tmp /var/tmp find: '/lost+found': Permission denied stdout: /tmp /var/tmp stderr: find: '/root': Permission denied find: '/lost+found': Permission denied mais j'ai un problème pour convertir ce script en POSIX sh /bin/sh #!/bin/sh echo "term...
Lire la suite