Konwertuj pliki Parquet, Feather, ORC i Avro za pomocą ParquetReader

Konwertuj pliki Parquet, Feather, ORC i Avro za pomocą ParquetReader

Ten szablon automatyzacji umożliwia przesyłanie i analizowanie plików w formatach Parquet, Feather, ORC lub Avro poprzez API ParquetReader. Natychmiast zwraca ustrukturyzowany podgląd danych w formacie JSON, w tym wiersze, schemat i metadane, bez konieczności pisania własnego kodu.

Idealne zastosowania

• Walidacja schematu i struktury przed synchronizacją lub transformacją
• Podgląd surowych plików kolumnowych w locie
• Automatyzacja procesów QA, ETL lub CI/CD
• Konwersja plików Parquet, Avro, Feather lub ORC do formatu JSON

Przykłady zastosowań

Ta automatyzacja może być wykorzystana w wielu scenariuszach związanych z przetwarzaniem danych. Oto kilka potencjalnych zastosowań:

• Wykrywanie niezgodności schematów przed uruchomieniem potoku danych
• Automatyzacja audytu kolumn w przychodzących plikach danych
• Wzbogacanie katalogów metadanych o wykrywanie schematów w czasie rzeczywistym
• Integracja walidacji plików z zautomatyzowanymi przepływami pracy
• Konwersja danych między formatami kolumnowymi a JSON
• Generowanie dokumentacji struktury danych na podstawie metadanych
• Testowanie jakości danych w procesach ETL

Jak używać tego przepływu pracy

Wyzwalanie poprzez przesyłanie pliku

Możesz wyzwolić ten przepływ, wysyłając żądanie POST z plikiem za pomocą curl, Postmana lub z innego przepływu n8n.

Przykład (via curl):

curl -X POST http://localhost:5678/webhook-test/convert -F "file=@converted.parquet"

Zastąp converted.parquet ścieżką do swojego lokalnego pliku. Możesz również wysyłać pliki Avro, ORC lub Feather.

Ponowne wykorzystanie z innych przepływów

Możesz ponownie wykorzystać ten przepływ, wywołując webhook z innego przepływu pracy n8n przy użyciu węzła HTTP Request. Pamiętaj, aby wysłać plik jako form-data z nazwą pola "file".

Co robi ten przepływ:

• Odbiera przesłany plik przez webhook (file)
• Wysyła go do https://api.parquetreader.com/parquet jako multipart/form-data (nazwa pola: file)
• Odbiera sparsowane dane (wiersze), schemat i metadane w formacie JSON

Przykładowa odpowiedź JSON

{
  "data": [
    {
      "full_name": "Pamela Cabrera",
      "email": "bobbyharrison@example.net",
      "age": "24",
      "active": "True",
      "latitude": "-36.1577385",
      "longitude": "63.014954",
      "company": "Carter, Shaw and Parks",
      "country": "Honduras"
    }
  ],
  "meta_data": {
    "created_by": "pyarrow",
    "num_columns": 21,
    "num_rows": 10,
    "serialized_size": 7598,
    "format_version": "0.12"
  },
  "schema": [
    { "column_name": "full_name", "column_type": "string" },
    { "column_name": "email", "column_type": "string" },
    { "column_name": "age", "column_type": "int64" },
    { "column_name": "active", "column_type": "bool" },
    { "column_name": "latitude", "column_type": "double" },
    { "column_name": "longitude", "column_type": "double" },
    { "column_name": "company", "column_type": "string" },
    { "column_name": "country", "column_type": "string" }
  ]
}

Informacje o API

• Uwierzytelnianie: Nie wymagane
• Obsługiwane formaty: .parquet, .avro, .orc, .feather
• Bezpłatne użycie: Nie wymaga rejestracji; API jest obecnie publicznie dostępne
• Ograniczenia: W przyszłości mogą obowiązywać limity użycia i rozmiaru plików (do ustalenia)