Convertir le format d'heure des journaux d'erreurs Apache dans Fluentd

J'essaie de convertir le format d'heure du journal des erreurs Apache dans Fluentd pour l'utiliser comme horodatage pour Kibana.

Il y a un champ 'heure' avec l'horodatage du journal des erreurs.

J'utilise la configuration suivante pour cela

<filter apache.**>
 @type record_transformer
 enable_ruby
 <record>
# timestamp ${Time.at(time).utc.strftime('%Y-%m-%dT%H:%M:%S%z')}
# or
# timestamp ${time.strftime('%Y-%m-%dT%H:%M:%S%z')}
# or
 timestamp ${time.iso8601}
 </record> 
 remove_keys time
</filter>

Mais les trois versions sont converties dans le mauvais sens (inadéquation de l'heure et du jour) : "May 03 08:04:19.147574 2021" en "1993-10-24T22:41:18+00:00"

La même configuration est correcte pour les journaux d'accès Apache.

Merci pour vos suggestions.


Solution du problème

Pour moi, il suffit d'ajouter time_key à elasticsearch. Après cela, elastic met l'heure du champ d'horodatage à partir de la clé "time". Je n'ai pas toute cette section comme vous : record_transformer

<match example>
 @type elasticsearch
 host XX.XX.XX.XX
 port 9200
 time_key time
</match>

Commentaires

Enregistrer un commentaire

Posts les plus consultés de ce blog

La fonction GCP Cloud pour écrire des données dans BigQuery s'exécute avec succès, mais les données n'apparaissent pas dans la table BigQuery

Image
J'exécute la fonction cloud suivante. Il s'exécute avec succès et indique que les données ont été chargées dans la table. Mais lorsque j'interroge BigQuery, aucune donnée n'a été ajoutée. Je ne reçois aucune erreur et aucune indication que cela ne fonctionne pas. from google.cloud import bigquery import pandas as pd def download_data(event, context): df = pd.read_csv('https://covid.ourworldindata.org/data/ecdc/full_data.csv') # Create an empty list Row_list =[] # Iterate over each row for index, rows in df.iterrows(): # Create list for the current row my_list =[rows.date, rows.location, rows.new_cases, rows.new_deaths, rows.total_cases, rows.total_deaths] #print(my_list) # append the list to the final list Row_list.append(my_list) ## Get Biq Query Set up client = bigquery.Client() table_id = "<project_name>.raw.daily_load" table = client.get_table(table_id) print(client) print(table_id) print(table) errors = client.insert_rows(...
Lire la suite

Erreur Symfony : "Une exception a été levée lors du rendu d'un modèle"

j'essaie d'inclure <link href="{{ asset('css/mystyle.css') }}" rel="stylesheet"/> dans mon fichier twig et le rendre. Mais cela me donne une exception PHP non interceptée Twig_Error_Runtime : "Une exception a été levée lors du rendu d'un modèle ("Le fichier manifeste de l'actif "/../public/build/manifest.json" n'existe pas.") ça marche quand j'utilise link href="css/mystyle.css" rel="stylesheet"/> . Voici mon contrôleur: <?php namespace App\Controller; use Symfony\Component\Routing\Annotation\Route; use Symfony\Bundle\FrameworkBundle\Controller\AbstractController; use Symfony\Component\HttpFoundation\Response; class WelcomeController extends AbstractController { /** * @Route("/", name="welcome") */ public function index() { return $this->render('welcome/index.html.twig'); } } Voici mon modèle de brindille : <!doctype html> ...
Lire la suite

Le shell POSIX (sh) redirige stderr vers stdout et capture stderr et stdout dans des variables

Je voudrais rediriger stderr vers stdout afin qu'un terminal les imprime tous les deux lors de l'exécution d'une commande, mais je voudrais également les capturer tous les deux dans des variables distinctes. J'ai réussi à y parvenir dans Bash (version 4.4.20(1)-release): #!/bin/bash echo "terminal:" { err="$(find / -maxdepth 2 -iname 'tmp' -type d 2>&1 1>&3 3>&- | tee /dev/stderr)"; ec="$?"; } 3>&1 | tee /dev/fd/4 2>&1; out=$(cat /dev/fd/4) echo "stdout:" && echo "$out" echo "stderr:" && echo "$err" cela donne souhaité: terminal: find: '/root': Permission denied /tmp /var/tmp find: '/lost+found': Permission denied stdout: /tmp /var/tmp stderr: find: '/root': Permission denied find: '/lost+found': Permission denied mais j'ai un problème pour convertir ce script en POSIX sh /bin/sh #!/bin/sh echo "term...
Lire la suite