Submit sequencing experiment

GEA submission flow

1. 登録アカウントを取得

• D-way 登録アカウントを作成
• 公開鍵と center nameをアカウントに登録しGEA登録を可能に

2. BioProject、BioSample と Sequence Read Archive(DRA)に登録

BioProject

• 研究プロジェクトの内容

BioSample

• 実験データを得るのに使われた生物学的、物理的にユニークなサンプル

DRA

• 生シークエンスリードとアライメント

メタデータをタブ区切りテキストファイルで登録できます

3. 解析済みデータファイルをアップロード

• GEA 登録用ディレクトリに解析済みデータファイルをアップロード

4. DRA submissionを選択

• GEA 登録の基となる生シークエンスリードを含んでいる DRA submission を一つ選択します
• GEA 登録の基となる生シークエンスリードが複数の DRA submission に含まれている場合は複数 submission を選択します

5. BioProjectを一つ選択

• GEA と DRA submission が同じプロジェクトである場合は DRA submission で使用した BioProject を一つ選択します
• GEA と DRA submission が異なるプロジェクトである場合は DRA submission で使用した BioProject ではないBioProjectを一つ選択します

6. IDF と SDRF を作成

IDF

• IDF (Investigation Description Format) ファイルで実験デザイン、プロトコールや文献情報といった実験全体を記述します

SDRF

• SDRF (Sample and Data RelationshipFormat) ファイルでサンプル属性とサンプル、アレイ、データファイル間の関係性を記述します
• 選択した BioProject、BioSample と DRA submission の内容から生成された SDRF テンプレートファイルに必要な情報を追加します

7. IDF と SDRF を投稿しデータファイルを検証する

• 登録ウェブシステムから IDF と SDRF を投稿するとアップロードしたデータファイルの 検証処理が自動的に始まります
• 検証処理を通過した登録が査定されます

登録前のチェックリスト

シークエンス実験の登録

新規登録の作成

D-way (https://trace.ddbj.nig.ac.jp/D-way) にログインするとトップページが表示されます。上部の GEA メニューから GEA 登録サイトに移動します。

“Sequencing” を選択した状態で [New submission] をクリックして sequencing experiment submission を作成します。作成と同時に DDBJ ファイルサーバ (ftp-private.ddbj.nig.ac.jp) に対応する GEA 登録用サブディレクトリが登録者のホーム下に作成されます。このサブディレクトリに データファイルをアップロードします。

登録のステータスには以下のものがあります。”Data Validated” と “Validation Error” になった登録が査定されます。

登録のステータス一覧

解析済みファイルのアップロード

$ scp <Your Files> <D-way Login ID>@ftp-private.ddbj.nig.ac.jp:~/gea/<GEA Submission ID>

Enter passphrase for key '/home/you/.ssh/id_rsa':

$ ssh <D-way Login ID>@ftp-private.ddbj.nig.ac.jp

Enter passphrase for key '/home/you/.ssh/id_rsa':

[test07@ftp-private ~]$

ls cd cp mv rm more mkdir tar gzip gunzip bzip2 bunzip2 zip unzip

WinSCP によるシークエンスデータの転送 (Windows)

DRA への登録 ～データの転送 (Windows)～

WinSCP (http://winscp.net/eng/download.php) をインストールし、起動します。

以下のように設定した後、右中央にある [Advanced…] をクリックします。

転送モードはバイナリモードにします。テキストモードで転送しないでください。

• File protocol: SFTP
• Host name: ftp-private.ddbj.nig.ac.jp
• Port number: 22
• User name: (D-way の Login ID を入力)
• Password: (空欄のまま)

“Authentication” にある “Private key file” で、事前に作成した PuTTY 形式の秘密鍵を選択します。

最後に、下中央にある [Login] をクリックします。

初回接続時には警告メッセージが表示されますが、 “はい” を選択してください (次回から表示されません)。次の画面では、鍵を作成した際に指定したパスフレーズを入力します。

ログインに成功すると、左側のウィンドウにユーザの PC のフォルダ、右側のウィンドウにデータ受付サーバの登録者専用ディレクトリが表示されます。 左側ウィンドウでファイルを選択し右側ウィンドウへドラッグ＆ドロップし、サーバへファイルを転送します。

転送したファイルは、ファイルを選択し [削除] ボタンをクリックすることで削除できます。

[« 閉じる]

Cyberduck によるシークエンスデータの転送 (Mac OS X)

DRA への登録 ～データの転送 (Mac)～

Cyberduck (https://cyberduck.io/) をインストールし、起動します。

トップ画面で “Open Connection” を選択します。

使用する転送方式で “SFTP (SSH File Transfer Protocol)” を選択します。

Cyberduck の起動画面で、以下のように設定し More Options の “Use Public Key Authentication” をチェックします。

• Server: ftp-private.ddbj.nig.ac.jp
• Port: 22
• Username: (D-way の Login ID を入力)
• Password: (空欄のまま)
• Add to Keychain: (チェックを入れる)

秘密鍵 (private key) はデフォルトで “ユーザのホームフォルダ .ssh フォルダ (Finderからは見えない隠しフォルダ) >id_rsa” に保存されています。

初回接続時には警告メッセージが表示されますが “常に” を選択してください (次回から表示されません)。

ログインに成功すると、データ受付サーバの登録者専用ディレクトリが表示されます。登録者の PC にあるファイルを選択しウィンドウにドラッグ＆ドロップすることで、ファイルをサーバに転送します。

[« 閉じる]

Submission

四年以内の公開予定日指定、もしくは、データ処理後即日公開を選択します。登録者の名前と所属組織は公開されますがメールアドレスは公開されません。

DRA

自身のアカウントで登録した DRA submission を一つ選択します。DRA が未登録の場合は DRA登録サイトで DRA を登録します。

他のアカウントで登録された DRA を参照したい場合は GEA チームに連絡します。

BioProject

自身のアカウントで登録済みの BioProject を一つ選択します。BioProject が未登録の場合は BioProject登録サイトでプロジェクトを登録します。

GEA と DRA submission が同じプロジェクトである場合は DRA submission で使用した BioProject を一つ選択します。 GEA と DRA submission が異なるプロジェクトである場合は DRA submission で使用した BioProject ではない BioProject を一つ選択します

他のアカウントで登録された BioProject を参照したい場合は GEA チームに連絡します。

IDF

IDF (Investigation Description Format) の内容を入力します。

IDFの例

• Protocol: チェック済みのプロトコールは必須です　
• Publication: 関連する文献を PubMed ID もしくは DOI で指定します。未公表の文献については ID が発行された後に お知らせください。
• Data File Type: シークエンシング実験の場合は解析済みデータが必須です。サンプル毎の解析済みデータファイルの登録を強く推奨します。シークエンシング実験に登録可能なファイル形式。

SDRF

SDRF (Sample and Data Relationship Format) テンプレートファイルをダウンロードして必要な情報を追加します。

SDRF の例

Auto-filled fields.

• Name columns and attribute columns for Source Name: Generated from BioSamples.
• SDRF rows: 1 row for 1 Run.
• Protocols: Protocols described in IDF are inserted to appropriate positions of SDRF with temporary protocol IDs (e.g., ESUB000352_Protocol_1)
• Technology Type: “sequencing assay” for sequencing submission.
• SRA Experiment and Run Comments to Extract and Assay Names: Generated from DRA Experiment and Run.

Enter required fields by overwriting <Required: fill in the content> tags.

自動生成される内容

• 各 Name カラムと Source Name の Attribute カラム: 選択された BioSample の内容から自動生成されます
• SDRF 行: 1 行 1 BioSample で行が自動生成されます
• Protocol: IDF で作成されたプロトコールは SDRF の適切な個所にプロトコール ID (例 ESUB000350_Protocol_1) として挿入されます
• Technology Type: マイクロアレイ登録の場合は “array assay” が固定入力されます
• Array Design REF: IDF で指定されたアレイデザインアクセッション番号、もしくは、アレイデザインファイル名が自動入力されます

<Required: fill in the content> タグを上書きして必須項目を入力します。

追加入力が必要な項目

• Material Type: controlled term から適切な語句を一つ記入します。
  • total RNA
  • polyA RNA
  • cytoplasmic RNA
  • nuclear RNA
  • genomic DNA
  • protein
  • other
• Derived Array Data File と Comment [Derived Array Data File md5]: 解析済みデータファイルのファイル名と md5 チェックサム値 の組を記入します。
• データファイルと md5 チェックサム値の組は md5sum コマンドの結果を <GEA submission ID>.md5 (例 ESUB000001.md5) ファイルとしてデータファイルと一緒に提供することもできます（SDRF と .md5 ファイルの両方がある場合は .md5 の値が優先されます）。
• Factor Value[enter experiment factor name here]: 実験で研究している「要因」。growth condition、genotype、organism part 等の研究で解析している変数のことです。これらの変数の実際の値は “Factor Value []” カラムに記載します。例:
  • Factor Value[strain]
  • AT76
  • KU-2003
  • KU-PI499262

内容を追加した SDRF を選択して Continue をクリックします。

Overview と投稿

最後の Overview タブで IDF と SDRF ファイルをダウンロードして内容をチェックします。修正が必要な場合はタブを戻ってメタデータを修正します。

“Submit” ボタンをクリックして IDF と SDRF を投稿します。

検証処理

メタデータ投稿時に IDF と SDRF に記載されているデータファイルが対象の登録用ディレクトリにアップロードされていない場合、”Data file is not uploaded” というエラーメッセージが表示され投稿が中断されます。

Validator は validation rule に従ってメタデータをチェックしエラーとワーニングメッセージを表示します。メタデータを投稿するためにはエラーを解消しておく必要があります。

アクセッション番号

完成した GEA experiment に対して GEA アクセッション番号が発行されます。

査読者用トークンを発行することでの非公開データへのアクセスを提供することができます。

更新

各データベースにおける更新方法

アーカイブされた experiment の削除

アーカイブされた Experiment を削除する場合は GEA チームに連絡します。

補足: MD5 値

MD5 (Message Digest Algorithm 5) はハッシュ関数であり、与えられたファイルに対してハッシュ値 (MD5値、32桁の英数字) を出力します。ファイルが破損していると MD5 値が変化します。 DRA では、到着したファイルの MD5 値の一致をチェックすることで、ファイルの破損がないかどうか確認しています。

$ md5sum file1 file2
9F6E6800CFAE7749EB6C486619254B9C file1
B636E0063E29709B6082F324C76D0911 file2

$ md5 file1 file2
9F6E6800CFAE7749EB6C486619254B9C file1
B636E0063E29709B6082F324C76D0911 file2

MD5 値の取得 (Windows)

Fsum Frontend(http://sourceforge.net/projects/fsumfe/) をインストールし、起動します。
まず、 “md5” にチェックを入れてください。

[+] ボタンをクリックし、必要なシークエンスデータファイルを開いてください。同時に複数のファイルを選択することが可能です。

最後に、[Calculate hashes] ボタンをクリックしてください。各ファイルの MD5 値が表示されます。[Export] ボタンから、MD5 値の一覧表 (.html, .csv, .xml) を作成することができます。

[« 閉じる]