Olá estou com uma duvida sobre JSON para colocar no ElasticSearch

[talo_Gabriel_de]

Olá sou um iniciante na ferramenta do knime e novo aqui no forum e tenho uma duvida atualmente sobre como fazer a ingestão dos dados para o elasticsearch.

A estrutura inicial está assim:

Consiste em extrair os dados do banco SQL Server. Em seguida, leio os dados e depois os converto de tabela para JSON. Tento então usar o String Manipulation para formatá-los no formato Bulk, para que o Elasticsearch os aceite. Logo em seguida, utilizo o node ElasticSearch Bulk Load. Atualmente, apenas o ‘Index’ está sendo enviado, mas os dados não estão sendo incluídos. Vou deixar aqui a configuração de como está cada etapa do workflow.

Mas a ideia é deixar esse fluxo que se atualize automaticamente dentro do Elasticsearch sem se repetir nenhum registro.

Vou deixar como ficou cada configuração

“DB Query Reader”:

“Table to JSON”

“String Manipulation”

“ElasticSearch Bulk Load”

A estrutura no momento é essa, e com isso está criando somente o “Index” sem os dados.

Alguem poderia me ajudar nisso ?

[AlexanderFillbrunn]

Oi,
Este componente deve automaticamente colocar todas as colunas em um documento JSON e enviá-las para o ElasticSearch. Não há necessidade de você mesmo envolver os dados em JSON. Você pode tentar filtrar as colunas que não precisa e manter apenas as que deseja no ElasticSearch, depois passar essa tabela para o node sem convertê-la em JSON? O índice também não precisa fazer parte dos dados, pois ele é fornecido na caixa de diálogo de configuração.

Alexander