README

Helper para importar arquivos Parquet diretamente para tabelas PostgreSQL usando Laravel. Le o arquivo em lotes, tenta usar COPY para performance e faz fallback para inserts em massa.

Instalacao

composer require dotted-ai/parquet-to-sql
php artisan vendor:publish --tag=config --provider="ParquetToSql\\ParquetToSqlServiceProvider"

Dependencias:

ext-pgsql habilitada no PHP para que o pgsqlCopyFromArray funcione.
codercat/php-parquet (ja esta no composer.json) para fazer o parse do arquivo.

Uso rapido (CLI)

php artisan parquet:import storage/app/data/users.parquet users \\
  --truncate \\
  --map=id=user_id --map=email=email_address

Opcoes principais:

--connection= escolhe a conexao (default: config('parquet-to-sql.connection')).
--batch= tamanho do lote (default: config('parquet-to-sql.batch_size')).
--timeout= timeout do COPY em segundos.
--truncate roda TRUNCATE TABLE antes de inserir.

Uso programatico

use ParquetToSql\ParquetImporter;

$importer = app(ParquetImporter::class);

$result = $importer->import(
    path: storage_path('app/data/users.parquet'),
    table: 'users',
    columnMap: ['id' => 'user_id', 'email' => 'email_address'],
    truncateBeforeImport: true,
);

logger()->info('Import', $result->toArray());

Enfileirando

use ParquetToSql\ImportParquetJob;

ImportParquetJob::dispatch(
    path: storage_path('app/data/users.parquet'),
    table: 'users',
    columnMap: ['id' => 'user_id'],
    connectionName: 'pgsql',
    truncateBeforeImport: false
);

Configuracao

Arquivo config/parquet-to-sql.php:

connection: conexao de banco usada pelo importador.
batch_size: quantas linhas sao lidas antes de enviar para o banco.
copy_timeout: timeout do COPY em segundos.

Notas e limites

O codigo tenta usar PDO::pgsqlCopyFromArray; se nao existir (ex.: SQLite em testes), cai para inserts em lote.
Nomes de tabela aceitam esquema opcional (schema.tabela) usando apenas letras, numeros e _. Nomes de colunas/targets do map aceitam apenas letras, numeros e _ (sem pontos ou espacos) para manter SQL seguro.
O leitor padrao prioriza APIs de streaming (readRows, row groups) para nao carregar o arquivo inteiro em memoria; se a lib expor apenas read(), ele ainda funciona, mas pode consumir mais memoria.
Se sua versao de codercat/php-parquet expuser metodos diferentes, implemente um ParquetRowReader proprio e passe no importador.

Testes

composer install --dev
./vendor/bin/phpunit

dotted-ai / parquet-to-sql

Maintainers

Details