最終更新日:2016.6.14.

FAQ

キーワードで検索(複数のキーワードを入力する際は,半角スペースで区切って下さい)

タグで検索(NSSS:DDBJ Nucleotide Sequence Submission System , MSS:Mass Submission System)

FAQs 39 : Tag = pipeline
FTP接続ができません Pipeline
ケース1.DRAユーザーの場合

DRA登録されているユーザーの方は、FTPに接続できない場合がございます。
その場合は一度パイプラインにログインしていただき、パスワードの変更を行っていただくことでFTP接続が可能になります。

ケース2.FTPクライアントが未対応

WindowsやMACに標準装備されているFTPクライアントではパイプラインのFTPへ接続することが出来ません。
パイプラインではFTP over SSLのサーバーを使用しており、FTPへのログインやデータの送受信が暗号化されるようになっており、これを利用するには対応したクライアントが必要になります。
Windowsの場合はWinSCP、MACの場合はCyberduckなどが上記の接続に対応しております。

WinSCPサイト
http://winscp.net/
Cyberduckサイト
http://cyberduck.ch/
最終更新日:2015年2月4日
DRAのアカウントを所持しているがPipelineにログインでき ません Pipeline
DDBJ Pipeline を利用する為には、DRAのアカウントとは別にPipeline専用のアカウントが必要です。 お手数ですが、ログインページより新規アカウント作成へ進んでいただき、新たにPipelineのアカウントを取得してください。
最終更新日:2015年2月4日
HTTP uploadでファイルがリストに表示されません Pipeline
HTTP通信の場合、ファイルがアップされるまでに時間がかかります。場合によっては、途中で通信が切断されてしまうこともあります。
また、ファイルがアップされた後に、リストの更新がされない場合がありますので、ページの再読み込みをおこなってください。
最終更新日:2015年2月4日
新しくアカウント登録をおこなったが、メールが届きません Pipeline
通常であれば、数分で、Login IDとPasswordが記載されたメールが、(pipeline_dev@ddbj.nig.ac.jp)より送信されます。メールが届かないようであれば、ご自分のメールソフトウェアのフィルタリング設定などをご確認ください。 また、登録されたメールアドレスが正しくない可能性がありますので、メールアドレスをご確認の上、再度、アカウントの登録をおこなってください。
最終更新日:2015年2月4日
ジョブの実行時間が長くかかっているが問題ありませんか Pipeline
denovoAssemblyを実行している場合(特にVelvet)は処理完了まで数日を要する場合があります。
多くの場合は処理するデータ量に比例して処理時間が伸びていきますが、オプションの指定方法や、元データの品質によって処理が完了しない可能性があります。
こうした場合はジョブがハングアップしている可能性が高く、そのままでは計算機リソースが無駄に占有されてしまう為、こちらで強制終了させていただく場合があります。
最終更新日:2015年2月4日
ジョブがエラーになる Pipeline
<パターン1>
Status画面で、Statusが「error」でStart timeが「表示されていない」場合
  • 指定したクエリーファイルが、何らかの原因で読み込めなかったことによるエラーです。
  • 指定したクエリーファイルが、テキストファイルであることを、ご確認ください。(拡張子の指定は特にありません。)
  • また、FASTA/FASTQなどのフォーマットに問題がないか、ご確認ください。
  • 空行(最終行などに)が含まれていると、エラーになりますので、ご注意ください。
  • ファイル名が半角の英数(記号)であることを、ご確認ください。(日本語などの全角文字には対応していません。)
  • ファイル名には、スペースを含めないでください
  • Assembly→BLAT(mapping)を選択された場合で、Assembly結果ファイルが得られなかった場合は、BLAT(mapping)でこの状態になります。


<パターン2>
Status画面で、Statusが「error」でStart timeが「表示されている」場合
  • 指定したクエリーファイルの、FASTA/FASTQなどのフォーマットに問題がないか、ご確認ください。
  • オプションなどの入力値を、ご確認ください。
  • Selecting Tools画面から、各ToolのサイトやHelpをご確認いただけます。※選択されたツールによっては、列の長さに上限があります
  • Detail view画面で、実行されたCommandと、Log1(標準出力)とLog2(標準エラー)から、原因を特定できる場合もありますので、ご確認ください。

<パターン3>
Status画面で、Statusが「complete」だが、Detail view画面で、エラーが出ている場合
  • オプションなどの入力値を、ご確認ください。
  • Selecting Tools画面から、各ToolのサイトやHelpをご確認いただけます。※選択されたツールによっては、列の長さに上限があります。
  • Detail view画面で、実行されたCommandと、Log1(標準出力)とLog2(標準エラー)から、原因を特定できる場合もありますので、ご確認ください。


原因が特定できない場合や、お気づきの点などありましたら、お手数ですがsupportまでご連絡ください。
最終更新日:2015年2月4日
パラメーター(オプション)の変更ができません Pipeline
ツール選択画面では、ツールごとにマニュアルページへのリンクがありますので、こちらを読んでいただき、Setting for Assembly/Mapping画面で、Set optional parameters 以下の空白box内に適宜セットして下さい。
最終更新日:2015年2月4日
mappingで生成されるファイルはSAMファイルだけで、BAMファイルの生成は別途、SAMToolsで行わなければならない? Pipeline
SAMtoolsも組み込まれておりますので、BAMファイルも生成されます。
最終更新日:2015年2月4日
現在のpipelineの機能では、varFilterを用いたSNP抽出はできない? Pipeline
mpileupでご使用になれます。
最終更新日:2015年2月4日
Samtools indexファイルはダウンロードできませんか? Pipeline
対応を検討致します。
最終更新日:2015年2月4日
[Specifying Database of Reference Genome 画面] User original setsに登録した項目は削除できない? Pipeline
現状では対応しておりませんのでシステム改善案として上げさせて頂きます。
最終更新日:2015年2月4日
[Set optional parameters 画面] BWAのuniq optionの質問です。Please choose uniq mode.の4択の違いは? Pipeline
1. Do not remove any read.
ユニーク化処理を行わない
2. Retain pairs when both reads mapped uniquely or one of reads mapped uniquely, and Discard other pairs.
ペアのうち一方でもユニークにマップされていれば、そのペアを残す(両方マルチヒットの場合は破棄)
3. Retain pairs when both reads mapped uniquely, and Discard other pairs.
ペアのリードのうち両方のリードがユニークにマップされている場合だけ、そのペアを残す(一方でもマルチヒットなら破棄)
4. Retain uniquely mapped reads and discard multiply mapped reads.
ペアに関係なく、ユニークにマップされたリードだけを残す

どれがベストかは場面によって異なると思いますが、3番目が一番厳しく、2番目が一番緩く、4番目はその中間という感じです。
最終更新日:2014年8月28日
[Set optional parameters 画面] BWAの時、Step3)でUniqを選択すると? Pipeline
SAMファイル中の個々のリードのマップ結果を表す行のうち、ゲノムに一カ所でマップした結果の行(XT:A:Uを含む)のみを出力します(BWAのみ対応)。以下をご参考ください。
http://seqanswers.com/forums/showthread.php?t=5450
最終更新日:2015年2月4日
[Set optional parameters 画面] SAMtools pileup とSAMtools mpileup の違いがわからない Pipeline
pileupに対してmpileupはSNPコールが追加されています。以下をご参考ください。
http://samtools.sourceforge.net/mpileup.shtml
最終更新日:2015年2月4日
[Detail view 画面] out.sam がマッピング情報のSAMファイル生成なのか? Pipeline
生成結果です。
最終更新日:2015年2月4日
[Detail view 画面] samtools view -bS -o out.bam out.sam このコマンドでSAM--->BAM変換するのか? Pipeline
samtools view はレファレンス配列(ゲノム)へのマップ結果のうち、特定領域の結果のみ出力するコマンドです。しかし、基本的に許可していないので、レファレンス配列(ゲノム)全体での結果となります。
http://samtools.sourceforge.net/samtools.shtml#3
最終更新日:2015年2月4日
[Detail view 画面] samtools sort out.bam out2 このコマンドで、BAMのソーティングをして out2.srt.bamという出力形式になるのでしょうか? Pipeline
ダウンロードされるのは、out2.bam.zipで、このファイルを解凍するとout2.bamとなります。
最終更新日:2015年2月4日
[Detail view 画面] samtools view -hX out.bam>out.samXとmerged SAMがどのようなファイルなのかわかりません Pipeline
merged.samは、Detail view画面「Download merged pileup file」枠内のファイルの事であると思いますが、これは染色体ごとのsamの結果を1つに合わせたものとなっております。 out.samX は
samtools view -hX
Usage: samtools view [options]|[region1 [...]]
Options: -h     print header for the SAM output
            -X     output FLAG in string (samtools-C specific)

samとsamXで2カラムめの表記が変わります。以下をご参考ください。
http://sourceforge.net/apps/mediawiki/samtools/index.php?title=SAM_FAQ#The_integer_FLAG_field_is_not_friendly_to_eyes
merged SAMは染色体1本の場合out.sam(Downloadのファイルは圧縮されているが)中身は同じです。
最終更新日:2015年2月4日
[Detail view 画面] out2.bamはソートされたBAMファイルなのか? Pipeline
そうです。
最終更新日:2015年2月4日
IlluminaやRoche454のsingle end , paired end データを組み合わせての、アセンブリは可能ですか? Pipeline
ハイブリッドアセンブリに対応したツールは、Velvet, ABySS 等ありますが、今のところPipelineでは2種類のリードを指定する機能がありませんので、ハイブリッドアセンブルを行うことはできません。
最終更新日:2015年4月28日
弊社が商用目的のために、Pipelineを使用させて頂くことは可能でしょうか?またその場合、配列情報の秘匿性は保証されますでしょうか? Pipeline
DDBJ Pipelineを研究開発目的でお使い頂くのは、問題ございません。ただし、受託解析等の一部としてルーチン的に組み込む商用利用は、避けてください。
セキュリティに関しては、他ユーザーからはデータは見えませんが、ファイル名はGUI設定でリネームしないと見えてしまう事にご注意ください。また結果は容量制限により、60日で消去されます。それ以降は、再度実行ください。
最終更新日:2014年8月28日
DDBJのスパコンにあるデータをPipelineに送るにはどうしたらいいですか、またPipeline解析後のデータをスパコンに送るにはどうしたらいいですか? Pipeline
スパコン→Pipelineへのアップロード については、
スパコン内からftpコマンドでDDBJ PipelineのFTPサーバに接続すれば、手元のコンピュータを介すること無く直接転送が可能です。

具体的な方法は下記の通りです
1 スパコンのgwにログイン後、qloginで適当な計算ノードに移動
2 FTPコマンドでサーバに接続  $ ftp pdata.nig.ac.jp
3 指示に従い、DDBJ Pipelineのユーザー名、パスワードを入力
4 接続後、query というディレクトリの中にファイルをアップロードしてください。
アップロード後、Pipelineからの登録方法などはGUIでの操作と同様に行ってください。

逆に、結果ファイルのスパコンへのコピーに関しては、今のところ行う方法はありません。
(置き場所を指定し、書き込み権限をつけていただければ、個別に結果ファイルをコピーすることは可能ですが)

たしかにご指摘通り、スパコンとPipeline間の直接のやり取りができると便利ですので、 今後の開発の検討課題にさせていただきます。
最終更新日:2014年8月28日
[Set optional parameters 画面] 空白欄に何を入れていいのかわかりません Pipeline
選択したツールのマニュアルを読んでいただき、該当オプションをセットして下さい(デフォルトでOKの場合は空欄のまま)。オプション以外の文字を入れると実行時にエラーとなります。
最終更新日:2014年8月28日
Preprocessing処理を行うにあたっては、ファイル名などの決まりがあるのでしょうか Pipeline
ファイルをアップロードする場合、paired-endでは、ファイル名を拡張子の直前で、_1, _2 として区別して下さい。

その後の改訂で、_1, _2となっていなくてもPreprocessingが動くように変更しているのですが、
やはりユーザーが指定したファイル名によってはうまく動作しない可能性がありますので、_1,_2を付ける事を推奨しています。

ファイル名についての制限はpreprocessingのみで、他のツールの実行には関係ありません。
最終更新日:2016年6月14日
Preprocessing処理は問題なく終了していますが、結果ファイルが0kbでした Pipeline
原因はpreprocessing実行時における、Quality Scoreの形式指定の誤りと思われます。クエリーファイルの中身を確認し、phred33 または phred64 を指定してください。
最終更新日:2014年8月28日
[Import public DRA タブ] DRAに登録したデータが、インポートできません。 Pipeline
"Import public DRA"タブでは、DRAで公開済みのデータを選択できますが、DRAに登録が済んでも非公開データは、現時点ではPipelineへ取り込む機能を備えておりません。お手数ですが、DRAとは別に、PipelineサーバへFTPアップロードをお願い致します。
最終更新日:2014年8月28日
[Import public DRA タブ] DRA Searchでは見れるアクセッション番号を入力しても、見つかりませんと言われます。 Pipeline
Pipelineでは、アクセッション番号の一覧をNCBIが公開しているリストから取得していますが、DDBJで公開しているリストとは一部相違があるようです。
該当するものが見つからない旨のメッセージが表示された際にはご連絡ください。こちらで対応致します。
(pipeline_dev@ddbj.nig.ac.jp)
最終更新日:2014年8月28日
[Job Status 画面] 表左上のDeleteボタンが機能しません。また、表示されるファイル名を変更したいです。 Pipeline
現在、Deleteキーの機能は無効化されております。これは、たとえ失敗したジョブであったとしてもジョブの実行記録を参照し開発に役立てるようにするためです。どうしても削除したい場合は、こちらで削除いたしますのでご連絡ください。(pipeline_dev@ddbj.nig.ac.jp)
また、指定したSubmission accessionは基本的に変更する事ができませんので、ファイル名を伏せたいジョブに関しては、こちらでジョブ自体を削除いたします。その後、ファイルアップロード後の登録手順で、Study title で、別の名前を指定してください。
最終更新日:2014年8月28日
FTPでアップロードしたファイルがwebに反映されません Pipeline
FTPサーバにアップロードされたファイルは、アップロード完了後に自動的に遺伝研スパコン内の所定のディレクトリに転送するように設定されています。ですので、アップロード後にファイルが消えたように見えるのは正常な動作です。
最終更新日:2014年8月28日
DRAからのデータのインポートが完了しません Pipeline
何らかのトラブルにより処理が停止している可能性があります。 こちらで対応いたしますので、処理が進まない場合は pipeline_dev@ddbj.nig.ac.jp 宛てにご連絡ください。
最終更新日:2015年6月5日
de novo assembly(trinity)でresultのfasta fileが表示されないjobがあります。 Pipeline
メモリ不足で途中で止まってしまっていたようです。
オプションを指定する画面で、メモリの使用量を High にして試してみていただけますでしょうか。
最終更新日:2016年6月16日
Instrument modelの選択肢にIon Torrentがないのですが、どうすれば良いですか。 Pipeline
Instrument modelについてはひとまず454をご指定ください。
DDBJ Pipelineでは異なるInstrument modelのデータを組み合わせて実行できないようになっており、その判定のためだけにInstrument modelの情報を用いています。
したがいまして、Instrument modelの違いによって解析結果に違いはありません。
最終更新日:2016年6月14日
600ほどのFastqファイルをアップロードしたのですが、まとめてrunする方法はありますか Pipeline
複数のファイルをまとめて実行する場合には、"クエリセット”を指定する画面「Selecting Query Files 」において、複数のファイルを選択して1つのクエリセットとすることで可能です。
この場合はファイルは結合されて1つのジョブとして実行されます。
逆に、複数のファイルを独立したジョブとして別々に実行することも可能です。

ただし、残念ながらアップロードされたファイルをDDBJ Pipelineに登録する操作については、 一括して行うことはできず、一つ一つ行う方法しかありません。
同じサンプルから同じ条件で取得したデータファイルであれば、 あらかじめファイルを結合してからアップロードすることをおすすめします。
最終更新日:2016年6月14日
20GBのデータをHTTPでのアップロード終了後、SYSTEMERRORというメッセージが出てアップロードが完了しません Pipeline
HTTPによるアップロードではサイズの大きいファイルの転送に失敗する場合があり、
その場合にはFTPでのアップロードを推奨しております。
(はっきりとした値は不明ですが、webサーバーの設定で上限サイズが決まっているようです。
1GB程度まででしたらHTTPでの転送も可能だと思います。)
FTPでの転送の詳細な手順につきましては、下記のヘルプをご参照ください。
DDBJ Pipeline FTPによるファイル転送方法
FTPでのファイル転送を行う場合、
1 FTPソフトを利用して所定のサーバーに接続し、ファイルをアップロード
2 DDBJ Pipelineのweb画面上でアップロードされたファイルの登録を行う
の2段階の操作が必要なため、やや煩雑な手順となっています。
最終更新日:2016年6月14日
ペアエンドのファイル30個をde novo assemblyする手順を教えてください Pipeline
DDBJ Pipelineのde novo assemblyでは、複数のクエリファイルを一度に実行することが可能です。以下の手順をご参考にしていただければと思います。

1. 「Selecting Query Files」の画面で、アップロードした複数のファイルを選択。
2. 「Selecting Tools for Basic Analysis of DDBJ ANNOTATION PIPELINE」の画面で de novo assembly のツールを選択。
3. 「Generating Query Sets from Query Read Files 」の画面で使用したい複数のファイルを選択。右下の「Set as Pair-End」ボタンをクリック。これにより、複数のファイルが1つのクエリセットに結合されます。
4. オプション設定、実行へ

得られた結果を見るために必要なソフトですが、結果ファイルの容量は非常に大きいと推測されます。そのため、通常のテキストエディタで開くことは困難になりますので、ターミナルでのコマンド操作(moreやlineなど)が必要になってくると思われます。
最終更新日:2016年6月14日
取り扱う情報の、目的外利用は無いことを確認したいです Pipeline
データや解析結果の目的外利用はございません。

ただし、FAQ(メールでの質問)・ツール利用頻度・スパコンジョブ状況など運用面改善のための情報は利用させて頂いております。
運用改善用データでは、ユーザ個人情報は匿名化しております。
最終更新日:2016年6月14日
個人情報漏れは大丈夫ですか Pipeline
<個人情報(名前、所属)は全公開>
遺伝研スパコン上のサービス(DDBJ Pipeline含む)は全て、登録ユーザ情報をウェブサイト上で公開させて頂いております。
こちら登録ユーザ情報を御参照ください。
<個人情報(ジョブ内容)は非公開>
どのユーザがどのジョブを投げたか等の個人情報は非公開です。ジョブ内容の情報漏れは、現在までございませんでした。
最終更新日:2016年6月14日
結果ファイルはサイズが大きい為、マウス操作ではなくコマンド操作でダウンロード可能になりませんか Pipeline
現時点では、コマンドによるダウンロードはご利用になれません。
ただ、これまでにもご要望をいただいておりますので、今後の検討課題とさせていただきます。
最終更新日:2016年6月16日
結果ファイルをダウンロードしましたがunzipコマンドで解凍ができません Pipeline
まずはmd5値の比較でファイルダウンロードが正常に終了しているかをご確認いただけますでしょうか。

具体的には、結果詳細画面のファイルダウンロードボタンの隣に、”MD5”とかかれたボタンがあります。
このボタンを押して表示される文字列と、PC付属の端末(macのターミナル、winのコマンドプロンプトなど)で
md5コマンドを実行して得られる文字列が一致していることを確かめます。
md5 結果ファイル名(uniqout.sam.zipなど)

もし一致していなければ、ファイルのダウンロードに失敗している可能性があります。

また、ブラウザによってうまくいかない場合があるようですので、別のブラウザで試してみるか、unzipコマンド以外の別の解凍ソフトを使用してみてください。
最終更新日:2016年6月23日
問題が解決しない場合はお問い合わせからご連絡下さい。
また,サイト内検索もお試し下さい
ページの先頭へ戻る