Augmenter la vitesse/l'efficacité du code en évitant la fonction apply()

J'ai le dataframe suivant:

Model <- c("HS5", "HS5", "HS5","HS4")
Length <- c(6, 6, 6, 6)
Code <- c("030299", "010121","030448","030324")
df <- data.frame(Model,Length,Code)
Model Length Code
HS5 6 030299
HS5 6 010121
HS5 6 030448
HS4 6 030324

Je souhaite appliquer le code suivant à chaque ligne et générer le résultat sous la forme d'une nouvelle colonne

library(concordance)
concord(sourcevar = (each row of 'Code' column), origin = as.character(character in 'Model' column), destination = "HS4", dest.digit = as.numeric(number in 'Length' column), all = F))

En utilisant le code ci-dessous, nous appliquons la fonction 'concordance' (Page 6) à chaque ligne et générons un résultat, cependant, apply() la fonction fonctionne trop lentement sur les données volumineuses, ma question est de savoir s'il est possible d'augmenter d'une manière ou d'une autre la vitesse de ce code, même en changeant de apply()fonction

df$New <- df$Code
df[df$Model!= "HS4", ]$New <- apply(df[df$Model!= "HS4", ], 1, \(x) concord(sourcevar = x[colnames(df) == "Code"], 
   origin = x[colnames(df) == "Model"], destination = "HS4", 
   dest.digit = x[colnames(df) == "Length"], all = F))

La question précédente


Solution du problème

Vous pouvez probablement l'accélérer en tirant parti de la façon dont concordaccepte une entrée vectorielle de l' sourcevarargument. Le défi est que les autres arguments n'acceptent pas les entrées vectorielles. Par conséquent, vous pouvez essayer une stratégie pour effectuer une opération vectorisée sur sourcevarpour chaque combinaison unique des autres arguments (origine, dest.digit, destination).

library(tidyverse)
library(concordance)
# create data sample
Model <- c("HS5", "HS5", "HS5", "HS4")[1:3]
Length <- c(6)
Code <- c("030299", "010121","030448","030324")
df <- expand_grid(Model, Length, Code) %>%
 expand_grid(id = 1:5) 
print(df)
#> # A tibble: 60 x 4
#> Model Length Code id
#> <chr> <dbl> <chr> <int>
#> 1 HS5 6 030299 1
#> 2 HS5 6 030299 2
#> 3 HS5 6 030299 3
#> 4 HS5 6 030299 4
#> 5 HS5 6 030299 5
#> 6 HS5 6 010121 1
#> 7 HS5 6 010121 2
#> 8 HS5 6 010121 3
#> 9 HS5 6 010121 4
#> 10 HS5 6 010121 5
#> #... with 50 more rows
# call concord vectorized over sourevar
tic <- Sys.time()
df %>% 
 group_by(Model, Length) %>%
 mutate(
 value = concord(Code, origin = unique(Model), dest.digit = unique(Length), destination = "HS4", all = FALSE)
 ) %>%
 ungroup()
#> # A tibble: 60 x 5
#> Model Length Code id value 
#> <chr> <dbl> <chr> <int> <chr> 
#> 1 HS5 6 030299 1 030289
#> 2 HS5 6 030299 2 030289
#> 3 HS5 6 030299 3 030289
#> 4 HS5 6 030299 4 030289
#> 5 HS5 6 030299 5 030289
#> 6 HS5 6 010121 1 010121
#> 7 HS5 6 010121 2 010121
#> 8 HS5 6 010121 3 010121
#> 9 HS5 6 010121 4 010121
#> 10 HS5 6 010121 5 010121
#> #... with 50 more rows
print(Sys.time() - tic)
#> Time difference of 0.1580009 secs
# not vectorized
tic <- Sys.time()
df %>% 
 mutate(
 value = lst(sourcevar = Code, origin = Model, dest.digit = Length) %>% 
 pmap_chr(concord, destination = "HS4", all = FALSE)
 )
#> # A tibble: 60 x 5
#> Model Length Code id value 
#> <chr> <dbl> <chr> <int> <chr> 
#> 1 HS5 6 030299 1 030289
#> 2 HS5 6 030299 2 030289
#> 3 HS5 6 030299 3 030289
#> 4 HS5 6 030299 4 030289
#> 5 HS5 6 030299 5 030289
#> 6 HS5 6 010121 1 010121
#> 7 HS5 6 010121 2 010121
#> 8 HS5 6 010121 3 010121
#> 9 HS5 6 010121 4 010121
#> 10 HS5 6 010121 5 010121
#> #... with 50 more rows
print(Sys.time() - tic)
#> Time difference of 4.267002 secs

Créé le 2022-04-14 par le paquet reprex (v2.0.1)

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

Erreur Symfony : "Une exception a été levée lors du rendu d'un modèle"

j'essaie d'inclure <link href="{{ asset('css/mystyle.css') }}" rel="stylesheet"/> dans mon fichier twig et le rendre. Mais cela me donne une exception PHP non interceptée Twig_Error_Runtime : "Une exception a été levée lors du rendu d'un modèle ("Le fichier manifeste de l'actif "/../public/build/manifest.json" n'existe pas.") ça marche quand j'utilise link href="css/mystyle.css" rel="stylesheet"/> . Voici mon contrôleur: <?php namespace App\Controller; use Symfony\Component\Routing\Annotation\Route; use Symfony\Bundle\FrameworkBundle\Controller\AbstractController; use Symfony\Component\HttpFoundation\Response; class WelcomeController extends AbstractController { /** * @Route("/", name="welcome") */ public function index() { return $this->render('welcome/index.html.twig'); } } Voici mon modèle de brindille : <!doctype html> ...
Lire la suite

Détecter les appuis sur les touches fléchées en JavaScript

Comment détecter l'appui sur l'une des touches fléchées ? J'en ai profité pour savoir: function checkKey(e) { var event = window.event? window.event: e; console.log(event.keyCode) } Bien que cela fonctionnait pour toutes les autres touches, ce n'était pas le cas pour les touches fléchées (peut-être parce que le navigateur est censé faire défiler ces touches par défaut). Solution du problème event.key === "Flèche droite"... Plus récent et beaucoup plus propre: utilisez event.key . Plus de codes numériques arbitraires ! Si vous transpilez ou savez que vos utilisateurs utilisent tous des navigateurs modernes, utilisez ceci ! node.addEventListener('keydown', function(event) { const key = event.key; // "ArrowRight", "ArrowLeft", "ArrowUp", or "ArrowDown" }); Gestion détaillée : switch (event.key) { case "ArrowLeft": // Left pressed break; case "ArrowRight": // Right pressed break; c...
Lire la suite

Une chaîne vide donne "Des erreurs ont été détectées dans les arguments de la ligne de commande, veuillez vous assurer que tous les arguments sont correctement définis"

Image
Sur un serveur SQL 2016, j'ai un travail qui appelle un package SSIS. Ce package se trouve dans un projet dans la SSISDB et a des paramètres. L'un de ces paramètres est un type de chaîne vide par défaut. J'ai exécuté le travail avec la valeur vide pour ce paramètre, et il s'est exécuté avec succès. J'ai ensuite ouvert les propriétés du travail, je suis allé à l'étape qui appelle ce package et je suis entré dans la configuration et j'ai donné une valeur à ce paramètre. J'ai exécuté à nouveau le travail et il s'est exécuté avec succès, et la valeur du paramètre a eu l'effet attendu sur les résultats. Maintenant, je veux modifier le travail et redéfinir le paramètre sur une chaîne vide. En répétant ce que j'ai fait ci-dessus, j'ouvre la configuration et supprime complètement la valeur du paramètre. Lorsque j'essaie ensuite d'enregistrer les propriétés de l'étape du travail, j'obtiens une boîte de dialogue d'erreur a...
Lire la suite