[sugj-tech:8102] Re: file/hidenewfilestimeout.xml の訳について

Akira KIDA akida @ gadjp.com
2019年 5月 8日 (水) 13:34:54 JST


きだです。

まずingestは、IT業界でもストリームデータ処理の文脈ではよく使われる動詞です。
例えば以下を参照。要はデータを取り込んでストレージに格納するまでです。

Azure データ エクスプローラーでのデータ インジェスト
<https://docs.microsoft.com/ja-jp/azure/data-explorer/ingest-data-overview>


それでこのパラメータの利用ケースとして、例えば、プロセスAが特定のディレクトリ(これがqueueに相当)に多数のファイルを順次作成していき(ingest)、同時にプロセスBが(Sambaマウントを介して)同ディレクトリ内の作成が完了したファイルを順次処理(process)していく状況を想定してください。

この場合、Sambaマウントしている側のプロセスB(Windowsアプリ?)では、どのようにして「ファイルへの書き込みが完了した」ことを知ればいいでしょうか。このパラメータは、それに対する一つの解決策を提供するものです。すなわち、過去N秒間にわたって変更(追記)されていなければ、該当ファイルは書き込み完了と見なして、そこで初めてSambaのクライアント側に表示するのです。

以上のことを前提とすると、以下のような訳でしょうか。
#日本語としてすわりがいいように、原文では2つの文になっているところを一つの文に接続したところがあります。

<para>このパラメータを0以外に設定することで、過去N 秒未満の間に更新を受けた
   ファイルを表示しなくなる。</para>
   <para>これは、ingest(取込)/process(処理) キュー形式のワークロードに利用できる。
   処理を行うアプリケーションは、作成が完了したファイルのみを対象にすべきであるが、
  多くのアプリケーションは適切な外部のワークフロー制御手段を有していない。
   この方法によって、ファイルの処理と取込との干渉が避けられる。
   </para>


2019年5月8日(水) 9:39 User Ribbon <ribbon @ ns.ribbon.or.jp>:

> ingest という単語が出てきます。調べてみると映像関係の処理で使う
> 言葉のようで、インポートとか読み込みとかと同義のような気がします。
> ただ、第二節のところがどうしても意味がうまく取れないです。
>
> <!-- Samba 4.10.0
>    <para>Setting this parameter to something but 0 hides files
>    that have been modified less than N seconds ago.</para>
>    <para>It can be used for ingest/process queue style workloads. A
>    processing application should only see files that are definitely
>    finished. As many applications do not have proper external workflow
>    control, this can be a way to make sure processing does not
>    interfere with file ingest.</para>
> -->
>    <para>このパラメータを0以外に設定すると、N 秒前未満内に変更された
>    ファイルを見えなくする。</para>
>    <para>これは、 ingest/process キュースタイルのワークロード用に使う事ができる。
>    処理を行うアプリケーションは、間違いなく終了したファイルのみを対象にすべきである。
>    多くのアプリケーションでは、適切な外部のワークフロー制御を持たないため、
>    この方法で、ファイルの取り込みにより、処理が中断しないようにする。
>    </para>
> </description>
> <value type="default">0</value>
>


sugj-tech メーリングリストの案内