Créer un fichier CSV à partir d'un fichier texte avec des jetons d'en-tête à l'aide de scripts shell

Je souhaite créer un fichier CSV à partir d'un ensemble de fichiers texte dans un répertoire avec la structure suivante pour les importer ultérieurement dans une base de données.

Title:
Article title
Word Count:
100
Summary:
Article summary.
Can consist of multiple lines.
 
Keywords:
keyword1, keyword2, keyword3
Article Body:
The rest of the article body.
Till the end of the file.

Le résultat souhaité est donc de les avoir dans un fichier CSV avec des sections comme en-têtes avec leur contenu comme suit.

Title | Word Count | Summary  | Keywords  | Article Body |
Article title | 100 | Article summary.\nCan... | keyword1, keyword2, keyword3 |... |
Article2 title | 110 | Article summary.\nCan... | keyword1, keyword2, keyword3 |... |

J'ai essayé quelques approches avec des scripts awk et shell, mais je n'ai pas réussi jusqu'à présent. Des idées?


Solution du problème

Selon la documentation de COPY, PostgreSQL prend entièrement en charge le format CSV, ainsi qu'un format TEXT qui est par défaut compatible avec le format TSV sans perte.

Parce que j'utilise awk, je choisis de sortir un format TSV. La raison en est qu'il y a des nouvelles lignes dans les données et POSIX awkne permet pas de stocker des nouvelles lignes littérales dans une variable définie par l'utilisateur. Le format TSV n'a pas ce problème car vous remplacerez les retours à la ligne par \ndans les données.

De plus, j'ai modifié le format d'entrée pour faciliter l'analyse. La règle est qu'une ou plusieurs lignes vides délimitent les blocs, ce qui signifie que vous ne pouvez plus avoir de lignes vides dans le contenu de Summaryou Article Bodyplus (j'ai ajouté un espace dans l'exemple).

Exemple d'entrée :

Title:
Article title
Word Count:
100
Summary:
Article summary.
 
Can consist of multiple lines.
Keywords:
keyword1, keyword2, keyword3
Article Body:
The rest of the article body.
 
Till the end of the file.

Et voici la awkcommande (qui est capable de traiter plusieurs fichiers en une seule fois) :

edit : les noms des champs dans l'en-tête sont maintenant convertis en cas de serpent

awk -v RS='' -v FS='^$' -v OFS='\t' '
 FNR == 1 { fn++ }
 /^[^:\n]+:/ {
 fieldName = substr($0,1,index($0,":")-1)
 sub("^[^:]+:[^\n]*\n","")
 gsub(/\\/,"\\\\")
 gsub(/\n/,"\\n")
 gsub(/\r/,"\\r")
 gsub(/\t/,"\\t")
 header[fieldName]
 record[fn,fieldName] = $0
 }
 END {
 out = sep = ""
 for (fieldName in header) {
 gsub(/ /,"_",fieldName)
 out = out sep tolower(fieldName)
 sep = OFS
 }
 print out
 for (i = 1; i <= fn; i++) {
 out = sep = ""
 for (fieldName in header) {
 out = out sep record[fn,fieldName]
 sep = OFS
 }
 print out
 }
 }
' *.txt

Le résultat:

summary article_body word_count title keywords
Article summary.\n \nCan consist of multiple lines. The rest of the article body.\n \nTill the end of the file. 100 Article title keyword1, keyword2, keyword3

PS: Une fois que vous avez un fichier TSV valide, vous pouvez utiliser un autre outil comme mlrpour le convertir en CSV, JSON, etc... mais dans le but de l'importer dans postgreSQL, ce n'est pas obligatoire.

Voici la commande SQL (non testée) :

COPY tablename FROM '/path/file.tsv' HEADER;

note : Il semble que vous n'ayez pas besoin de spécifier le FORMATni le DELIMITERcar les valeurs par défaut sont textet\t

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

Erreur Symfony : "Une exception a été levée lors du rendu d'un modèle"

j'essaie d'inclure <link href="{{ asset('css/mystyle.css') }}" rel="stylesheet"/> dans mon fichier twig et le rendre. Mais cela me donne une exception PHP non interceptée Twig_Error_Runtime : "Une exception a été levée lors du rendu d'un modèle ("Le fichier manifeste de l'actif "/../public/build/manifest.json" n'existe pas.") ça marche quand j'utilise link href="css/mystyle.css" rel="stylesheet"/> . Voici mon contrôleur: <?php namespace App\Controller; use Symfony\Component\Routing\Annotation\Route; use Symfony\Bundle\FrameworkBundle\Controller\AbstractController; use Symfony\Component\HttpFoundation\Response; class WelcomeController extends AbstractController { /** * @Route("/", name="welcome") */ public function index() { return $this->render('welcome/index.html.twig'); } } Voici mon modèle de brindille : <!doctype html> ...
Lire la suite

Détecter les appuis sur les touches fléchées en JavaScript

Comment détecter l'appui sur l'une des touches fléchées ? J'en ai profité pour savoir: function checkKey(e) { var event = window.event? window.event: e; console.log(event.keyCode) } Bien que cela fonctionnait pour toutes les autres touches, ce n'était pas le cas pour les touches fléchées (peut-être parce que le navigateur est censé faire défiler ces touches par défaut). Solution du problème event.key === "Flèche droite"... Plus récent et beaucoup plus propre: utilisez event.key . Plus de codes numériques arbitraires ! Si vous transpilez ou savez que vos utilisateurs utilisent tous des navigateurs modernes, utilisez ceci ! node.addEventListener('keydown', function(event) { const key = event.key; // "ArrowRight", "ArrowLeft", "ArrowUp", or "ArrowDown" }); Gestion détaillée : switch (event.key) { case "ArrowLeft": // Left pressed break; case "ArrowRight": // Right pressed break; c...
Lire la suite

Une chaîne vide donne "Des erreurs ont été détectées dans les arguments de la ligne de commande, veuillez vous assurer que tous les arguments sont correctement définis"

Image
Sur un serveur SQL 2016, j'ai un travail qui appelle un package SSIS. Ce package se trouve dans un projet dans la SSISDB et a des paramètres. L'un de ces paramètres est un type de chaîne vide par défaut. J'ai exécuté le travail avec la valeur vide pour ce paramètre, et il s'est exécuté avec succès. J'ai ensuite ouvert les propriétés du travail, je suis allé à l'étape qui appelle ce package et je suis entré dans la configuration et j'ai donné une valeur à ce paramètre. J'ai exécuté à nouveau le travail et il s'est exécuté avec succès, et la valeur du paramètre a eu l'effet attendu sur les résultats. Maintenant, je veux modifier le travail et redéfinir le paramètre sur une chaîne vide. En répétant ce que j'ai fait ci-dessus, j'ouvre la configuration et supprime complètement la valeur du paramètre. Lorsque j'essaie ensuite d'enregistrer les propriétés de l'étape du travail, j'obtiens une boîte de dialogue d'erreur a...
Lire la suite