Источник каталога для потоковых наборов — нужно передать только имя файла

Я пытаюсь построить конвейер в StreamSets, в котором, когда файл поступает в каталог, я хочу вызвать rest api только с именем файла; Я не хочу, чтобы StreamSets читал файл или обрабатывал его.

Но что бы я ни пытался, он пытается отправить весь файл в пункт назначения .

Файл представляет собой файл специального формата SEGD , который представляет собой двоичный файл.

Он пытается прочитать файл и не работает.

Мое требование — вызывать REST API, как только файл поступает в папку.


Как вы обнаружили, по умолчанию источник каталога сборщика данных StreamSets будет анализировать содержимое файла как JSON, данные с разделителями и т. д. Если вы используете Whole File , однако вместо этого источник будет читать только метаданные файла и передавать специальную запись по конвейеру со следующими полями:

Затем вы можете использовать процессор HTTP-клиента или место назначения, указав имя файла с помощью выражения $ {record: value ('/fileInfo /filename ')} .

2



Источник имени файла данных

Привет!
Это вопрос:

Файлы данных имеют следующий формат:
Не могли бы вы объяснить, что последняя часть имя (т.е. 40.45.492) состоит из, и можно ли его использовать для отслеживания результатов эксперимента с точностью до секунды? Что произойдет, если два участника выполнят его почти одновременно? Могут ли быть лаги?

Большое спасибо!


Привет,

Я почти уверен, что вы исправьте, чтобы они соответствовали секундам, и в редкой ситуации одновременной подачи данных вам не следует слишком беспокоиться о задержках.

листание JS-людей, чтобы проверить мое понимание @thomas_pronk

Бекка


Большое спасибо, Бекка. У меня просто несколько участников с одинаковыми часами и минутами (скажем, 11:45), но с разными секундами (предположительно), и мне нужно различать порядок подачи.


I думаю, что последняя часть — это даже миллисекунды. Так, например, «40.45.492» означает:

  • 40 минут
  • 45 секунд
  • 492 миллисекунды

Спасибо. Проблема в том, что я не понимаю, как готовится метка времени. Сразу после последней страницы участники были перенаправлены на страницу опроса, и начало опроса никогда не соответствует имени файла i. Эту отметку времени, а время создания файла (в загруженной папке) — значит, я знаю, что это сработало, и могу связать эксперимент и опрос вместе, но не при использовании имени файла.


Я не уверен в этом на 100%, но я мог бы разобраться, если хотите. Вот моя догадка: метка времени, используемая для имени файла, основана на времени, измеренном на компьютере вашего участника. Отметка времени для создания файла основана на времени, измеренном на нашем сервере.

В общем, использование отметок времени для сопоставления участников является немного сложным. Я настоятельно рекомендую использовать какой-нибудь уникальный ID


Ага, мы поняли это слишком поздно. Урок усвоил и теперь использую id.

То, что вы говорите, имеет смысл, но в большинстве случаев есть расхождение в этих отметках времени почти через час. Почему?


Я бы предположил разницу во времени между часовым поясом компьютеров ваших участников и часовым поясом сервера


Тогда это должен быть час, но иногда это 15 минут, иногда 40 … очень случайно …

Извините за слишком много вопросов. Мне интересно, если два участника имеют одинаковое время сервера в минутах и ​​часах, но явно различаются в секундах, могу ли я быть уверен, что порядок в папке на pavlovia правильный? Есть ли способ увидеть секунды на сервере? Большое спасибо!


Ну, тогда я не могу это объяснить, боюсь,

О вашем вопросе по заказу. Порядок будет зависеть от момента сохранения файла на сервере. Как правило, это соответствует моменту завершения эксперимента участником, однако … представьте, что участник A завершает его сразу после участника B, но у A более быстрое подключение к Интернету, тогда данные A могут быть сохранены раньше, чем данные B.

О секундах по серверному времени. Не знаю, но могу спросить. Однако будьте осторожны, вам, вероятно, придется использовать относительно более сложные инструменты, такие как интерфейс командной строки git.

Оцените статью
clickpad.ru
Добавить комментарий