AntConcの使い方と活用法その2―自分専用の英語論文例文集(コーパス)の作り方pdftotextの使い方

前回紹介した英語論文用の例文集に使えるAntConcはテキストファイルやhtmlファイルを扱いますが、最も身近な英語の例文集の素材はpdfファイルだと思います。そこで今回は英語の例文集の作成のために重宝する、「pdfファイルをテキストファイルに変換する方法」を紹介します。AcrobatやFoxit Readerなどでpdfを開いて、textファイルとして保存する方法は、pdfファイルが数百、数千ある場合は手作業では対応できません。こんな場合は、Acrobatなどで複数のpdfファイルを一つのpdfファイルに結合してからtextファイルに変換するという方法もありますが、そんなめんどうくさいことをしなくてもpdftotextという無料ソフトを使えば一括で複数のpdfファイルをそれぞれ別のテキストファイルに変換でますので、やってみましょう。

まずpopplerというpdfを扱うプログラミングライブラリ(その中にpdftotextが入っています)をお使いのWindows, Mac, linux用のものを選んでダウンロードしてインストールします。linuxではsudoコマンドでpopplerをダウンロードしてインストールできますし、Mac版もアプリストアからダウンロードできるはずです。私が使っているWindows 10やWindows 7のPCの場合については、ここに詳しいインストールの仕方が書いた記事がでているのを見つけました。大変丁寧に書いてありますのでそのよく読んでインストールしてください。私もこの記事のとおりにインストールして利用しています。

私はCドライブ直下にpoppler-0.68.0というフォルダ(ダウンロードしたPopplerの圧縮ファイルを解凍(解凍ソフトは註1をみてください)してできるフォルダ名のままコピーしただけです)を作り、その直下にあるbinフォルダ(binaryフォルダの意味で、実行ファイルが入っているフォルダのことです)に自分の必要なpdfファイルを集めてテキストファイルに変換しています。shareフォルダの下にはpopplerとrenameしたデータファイル(上述のホームページにあるリンク
https://poppler.freedesktop.org/poppler-data-0.4.9.tar.gz からダウンロードしたpoppler-data-0.4.9.tar.gzファイルを解凍したもの。註1参照)をおいてください。あとは以下のコマンドを記述したバッチファイルをテキストファイルエディタで作ることが必要です。

for %%i in (*.pdf) do (pdftotext %%i %%i.txt)

このコマンドをテキストファイルエディタにうちこみ、できたファイルに適当な名前(pdf2txt.batとかすきな名前)をつけて保存します。保存のときデフォルトではテキストファイルで保存されれウため、pdf2txt.txtになりますのでファイル名の変更でpdf2txt.batにするか、保存時に.batで保存してください。保存場所はpdftotextのあるフォルダ(上の例ではbinフォルダ)にします。

あとは、変換したいpdfファイルを上のbinフォルダにコピーして、コマンドプロンプトでpdf2txt.batファイルを実行するだけです。日本語のファイルも英語のファイルもともにテキストファイルに変換されます。(invalid font weightというエラーが出るかもしれませんが無視してよいようです。不都合があったら教えてください。)

以下はコマンドプロンプトが初めての人むけの簡単な説明です(註2参照)。

バッチファイルというのはwindowsのコマンドプロンプト(windows7では「すべてのプログラム」の部分をみていくと、アクセサリフォルダの下にあります。windows10では下の図の左端の写真ようにシステムツールの下にあります。)でファイル名を入力してエンターを押すと、ファイル内に書いてあるコマンドを逐次実行するというものです。

矢印のコマンドプロンプトをクリックして起動するとき右クリックで、管理者として実行を選んで起動しておくと管理者としてログインしていないときにおこるトラブルをさけられますので注意してください。

今回のバッチファイルは以下のような内容で動きました。

for %%i in (*.pdf) do (pdftotext %%i %%i.txt)

意味は、iという変数にpdfのファイル名をいれ、それにpdftotextコマンドを実行してpdfのファイル名(%%i)のついたテキストファイル(%%i,txt)を作るという操作をフォルダ内にあるすべてのpdfファイル(*.pdfというワイルドカード*を使っている部分で、任意のファイル名のpdfファイルを表しています) がなくなるまで一個ずつ繰り返す(for    doの部分)というものです。

コマンドプロンプトを上に説明したように起動すると、黒いバックに白い字の画面が開きます(上の真ん中の図)
自分の今いるディレクトリ(フォルダ)の名前が表示されています。これから目的のpopplerのフォルダを探すとき、たとえばCドライブの直下にpopplerのフォルダがあるなら、コマンドプロンプトでcd ..(cdとうって、ピリオドを二回うちます)というコマンド(これはディレクトリを上に登って行くコマンドです)を何回かうってディレクトリをC:¥>にします。上の図の右端の図。
dirとうつとディレクトリやファイルの一覧が表示されます。
popplerのフォルダへ移りたいのでcd poppくらいまでをタイプしてあとはタブキーを押してください。タブの自動補完機能でcd poppler-0.68.0と自動入力されます。(このタブ補完の機能はlinuxで重宝するのですがWindowsのコマンドプロンプトでも利用できますので活用してください。) enterキーを押すとC:¥poppler-0.68.0>と表示されてディレクトリを移動したのがわかります。ここでdirとうってenterを押すとディレクトリ内のファイルとフォルダが表示されます。プログラムファイルのあるbinのフォルダ(ディレクトリ)があるのを確認してください。cd binとうってenterを押すとbinのディレクトリに移動します。C:¥poppler-0.68.0\binとなっていたら成功です(上の右端の図)。再びdirとうってenterをおします。これでこのbinフォルダ内にあるすべてのファイルとフォルダが表示されます。あとはそこにコピーしてあるバッチファイルpdf2txt.batを実行する(コマンドラインにpdf2txtとうってenterを押す)と、自動的にファイル名のついたtxtファイルができあがります。

こうして一括でpdfファイルをテキストファイルに変換したら、あとはこれらのテキストファイルをAntConcに読み込んでコーパスとして論文を書くときに参照すればいいわけです。

もちろんテキストファイルですから、テキストファイルを一括検索して、検索結果にタグジャンプして参照できるgrepコマンドも使えます。適当な、grepコマンドが使えるエディタ(たとえば有料ですが秀逸なエディタでおすすめの秀丸エディタ)でpdfの内容を串刺し検索するのもよいですね。pdfgrepというソフトもあって、これを使えばpdfファイルのままでgrepができるそうです。これはまだ使っていません。windows版をダウンロードしてさきほどのbinファイルにコピーしておけば、コマンドプロンプトで使えるのですが、linux版とちがって検索語がハイライトしなかったりしてまだ使いこなせていません。興味のある方は使ってみてください。

註1:圧縮ファイルの解凍には私は7-zipを使っています。たいていの圧縮解凍はこれでできます。
註2:パスの通し方とかは説明しないでpdftotextを使う方法を説明していますので、良く知っている方はパスを通して適当な場所にpdftotextをおいて使ってください。

AntConcの使い方と活用法その1―自分専用の英語論文例文集(コーパス)の作り方

京都でひらかれた大学の同窓会にでかけたりして更新が遅くなりました。京都は快晴で、まだもみじの季節ではなかったですが美しかったです。しかし観光客が多いこと多いこと。スペイン語や中国語、韓国語、さらにはノルウエーの旗を立てた団体もみかけました。

さて、昨年の分子生物学会のランチョンセミナーの中でAntConcというフリーソフトウエアの紹介をしました。英文を書くときに自分専用の例文集を作っておいて、それが簡単に検索できればとても役立ちます。前回紹介したTextClipperで役にたちそうな例文をテキストファイルに集めておいて、AntConcというフリーウエアでコンコーダンス検索してヒットした例文を参考に英語を書く方法を紹介します。もちろん自分の関係分野の論文のpdfをテキストファイルに変換して集めておき、それをAntConcで検索してもいいわけです。pdfをテキスト化するには、pdfをAcrobatなどで開いておいてtextファイル形式で保存するのも一つのやり方ですが、一斉にpdfをテキスト化するならLinuxやWindows、macなどにあるpdftotextといったソフトを使うのが便利です。ウインドウズにもこれが含まれているLooperというソフトがありますのでそれを使うといいでしょう。これについては次回紹介します。

それではAntConcの使い方の解説をはじめます。AntConcはコンコーダンスソフトウエアという種類のソフトウエアで、検索語を入力するとテキストファイルからその単語を拾い出し、文中に含まれるその単語の前後をふくめて表示してくれるソフトです。単語の文中での出現頻度などその他の様々な情報もわかります。まず早稲田大学のLaurence Anthony先生ホームページから自分のパソコンのOS(mac, windows, linux)にあったソフト(無料です)をダウンロードします。ここのリンクをご覧ください。
AntConcのホームページには、YouTubeの解説動画や日本語の解説pdf(バージョン3.2,2の解説ですがとても参考になります)などへのリンクもありますので適宜参照するといいでしょう。
ダウンロードしたファイルは実行ファイルなのでダブルクリックして起動します。詳細な使い方は先生のhelpファイルのpdfがあるのでダウンロードしてみてください。

写真はダブルクリックして起動した直後の画面です。起動時にはConcordanceタブが開いています。 Fileメニューが上にあります。Fileメニューをクリックするとプルダウンメニューが開き、その一番上にあるOpen File(s)を選んで検索したいファイル(複数選択可能です)を読み込みます。(下の図)

複数のファイルを読み込んで串刺し検索もできます。またOpen Filesの下のOpen Dirを選ぶと、フォルダ(あるいはDirectory)内にあるすべてのテキストファイル(とかhtmlファイル)を検索してくれます。こうして必要なファイルを開いてやると以下のような画面になります。
下の写真は私達の論文(AkiyoshiさんのCGGDBデータベースについての論文をpdfからテキストファイルにしたものでcggdb.txtという名称にしました)を開いたところです。
Current Filesというところに検索するファイル名が表示されます。複数選択した時は選択したすべてのファイルが列挙されます。
では検索してみましょう。resultという単語を検索することにします。Search Termの部分にresultといれて検索窓の下にあるStartボタンを押して検索してみましょう。(このとき右にあるwordsにチェックをいれています(下図参照)。単語としてのresultが検索されます。Caseにもチェックをいれると大文字小文字の区別をして検索できますし、Regexにチェックを入れると正規表現(Perlタイプのもの)が検索に利用できます)ヒット数は上のほうのConcordance Hits に表示されます。

6個ヒットしています。注意したいのはWordsにチェックを入れた状態で、resultを検索するとresultsは検索されないことです。Wordsのチェックを外してresultとして検索すると、resultだけでなくresultsもresultedもresultingもひっかかってきます。(下図)

ヒット数が57となっているのがわかると思います。
Concordanceメニュ―では、resultというキーワード(Key Words)が文のコンテクストの中で(In Context)どのように使われているかが表示されています。この表示を略してKWIC表示といいます。結果の表示法は、いろいろ下のメニューで変更可能です。たとえばSearch Window Sizeはデフォルトで50文字(腱索キーワードの前後50文字ずつ)となっていますが、これは増やしたり減らしたりできます。ちょっと表示を左右に広げてみるとよくわかります。

Search Termの検索窓の下のほうにKwic Sortとあるのは、検索結果のソートボタンです。

図ではLevel 1が1R(キーワードresultの右の語でアルファベット順にソート)、Level 2が同じ右の単語の場合は、キーワードの二番目の単語でさらにソートします。それがLevel 2 2Rという部分です。Level 3は三番目の単語でさらにソートとなります。もしresultの左の単語でソートしたいときは、Level 1以下の部分を下向きの矢印ボタンを何回かクリックして、下の図のようにかえて、Sortボタンを押してください。

すると検索キーワードの左の単語で再ソートされますので、resultの前にくる単語がわかります。

次にKWIC画面で表示されている原文をみてみましょう。みたいヒット行の青字で表示されているキーワードをクリックしてみましょう。クリックした文を含む原文がFile Viewタブが開いてそこに表示されます。

Hit Locationという部分の上下の矢印をクリックすると、前や後のresultを含む原文が表示されます。カーソルをFile View画面で動かせるようにしておくと、マウスの中央ホイールをくるくるまわして前後のresultを表視することもできます。

皆さんもご自分でつくったテキストファイルやテキストファイル群をこのソフトで開いて遊んでみてください。大変有用なソフトです。ちょっと長くなったので今回はここで止めます。次回はAntConcのその他の機能と、どうやってpdfからtextファイルを作るかについてpdftotextの使い方を紹介したいと思います。

写真は元寇のとき筥崎宮が避難していた場所を訪れたときのものです。とてもいい天気で気持ちがよかったです。バス停をおりると案内板があって、650mほどのぼりの道を行くと古い社があって記念碑がたっていました。人はだれもいません。一番最後の写真は帰りの川面です。波紋がきらきらと川底に映えてハヤも泳いでいました。このへんはホタルも初夏には見られます。

テキストデータをどんどん蓄積していくソフトの紹介―その2 TextClipperの紹介です。

HeartyLadder (ハーティー・ラダー)というソフトをご存知ですか?このソフトのサイトにある文章をそのまま引用させてもらいます。
だれでもみんな人に伝えたい「こころ」があります。
笑みで、言葉で、手紙で、そしてE-mailで・・・・

本ソフトウエアは手などが不自由なため、キーボードやマウスでの入力が出来ない方のために 開発した文章入力用のソフトウエアです。
 ハーティーラダーは、文章の作成やメール、そしてWindows操作を支援するソフトウェアです。キーボードやマウスが使えなくても、漢字交じりの文章を書けて  E-mailのやりとりができます。またホームページを見たり、ワードやエクセルなど一般のアプリケーションの操作もできます。  このソフトを使ってラブレターも書いてもらえたら素敵だなぁと思いながら、  私たちも心を込めて作っています。また、2011年に公開したマイボイスというソフトを使うことで、自分の声での読み上げができるようになっています。 このHeartyLadderがあなたの『心の架け橋(HeartyLadder)』になればうれしいです。

Xoops(註1参照)でつくられているHeartyLadder のサイト ハーティー・ラダー・サポーターのぺ―ジhttp://heartyladder.net/xoops/をみるとこれが、物凄いソフトだということがわかります。です。このソフトの開発改良が多くの方々の参画を得て、日々 着実に進んでいるのを拝見して頭がさがりました。たとえば以下をご覧ください。
http://heartyladder.net/xoops/modules/whatsnew/
ハーティー・ラダーの開発者は吉村隆樹さん。以下に紹介するTextClipperの開発者でもあります。吉村さんについてはご自身の本、パソコンがかなえてくれた夢 (高文研)や、吉村さんのホームページ まなつのみかんにある、ブログをご覧ください。なおこのまなつのみかんのHeartyLadderの記述は古いようなので、上にあるリンクをご覧ください。

HeartyLadderはキーボードやマウスが使えない方でもラブレターが書けるようにというコンセプトのソフトですが、どんどん改良を重ねておられて、今では視線入力装置と連携してALSの患者さんも使えるようになっているそうです。視線入力装置対応のHeartyLadderも無料で公開されています。昔は150万円くらいした視線入力装置が2014年に12000円くらいで入手できるようになったそうで、この視線入力装置を使うためのソフトHeartyAiと、このHeartyLadderと組み合わせるとよいとのことです。以下に説明のpdfがありますのでご覧ください。http://heartyladder.net//upload/takaki/hearty/HeartyAi.pdf
関連した新聞記事もリンクが切れるかもしれませんが、ご覧ください。
https://mainichi.jp/articles/20180331/k00/00m/020/106000c

さて、TextClipperです。これは以下のページにある吉村さんの説明を引用しますと、こんなソフトです。http://takaki.la.coocan.jp/freesoft/textclipper/

TextClipperについて
本プログラムはテキストのデータベースです。
某ユーザーさん曰く
  テキストのデータベースなんてかたぐるしく言わずに、「アイデアクリップ」とか
「アイデアメモ」なんて紹介するともっとユーザーが増えると思います。

と・・・・・
多くのテキストをツリー構造で管理します。
データーベースというと、データの入力が結構大変です。特にテキストのデータベースになると、テキストファイルを読み込んだり、ソフトを切り替えてコピー&ペーストを繰り返してと言うことになるでしょう。でもこのソフトではそういう作業は必要としません。
世はインターネットブーム。ネットサーフィンに興じている人も多いでしょう。
そこで得た情報はどうやって管理しておられるでしょうか。
この部分の文章はとっておきたいと思っても、すぐに簡単には保存できないと思います。
でもこのソフトを常駐させておくと、ネットスケープやインターネットエクスプローラで保存したい部分を反転して後はボタンを1つ押すだけです。
タイトルを付けたりする必要もいっさいありません。
プログラミングやネットサーフィンをしながら手間をかけることなく自然とデータベースにデータが蓄積されていく感じです。これより簡単な保存方法はないでしょう。
また、その逆のデータベース化したテキストを利用するときも、簡単に使用中のワープロやエディタ、通信ソフトにペーストできます。
本プログラムはいろんな場面で応用できると思います。」

私はこのソフトのクリップツールという機能拡張を主に使っています。ネットサーフインしていてこれはと思ったテキストをキーワードをつけて(つけなくてもいいです)、どんどん一つのテキストファイル(Tc_txt.txtという名前のテキストファイルです)に保存していくことができます。新しくクリップしたテキストはこのテキストファイルの最後尾にクリップした日時、簡単な出典表記、自分でつけたキーワード(なしでもOKです)とともに追記されていきます。こうしてテキストデータベースを構築しておけば、あれはなんだったっけと思いだせないときにも、保存したテキストファイルをgrepソフトなどで検索したら一発で該当テキストをみつけられます。キーワードを保存時に追加しておけばなおさら検索は容易になります。保存には自分で保存用キーを設定することもできます。私はたとえばshift+Cにして保存していますが、キーコンビネーションは環境設定メニューの、キー割当から設定できます。

クリップボードに入ったテキストファイルが保存されますので、TextClipperを常駐させておけば、Microsoft Wordやpdfリーダー(Acrobatなど)、ブラウザで表示したテキストなど任意のソース中のテキストファイルを保存することができます。一つの決まったファイルにクリップするごとに付け足されていきますので、このクリップをどんどんつづけていけば、結構充実したテキストデータベースができます。このクリップツールは以前、吉村さんにお願いして作ってもらったものですが、大変便利です。
これはTextClipperのページにあるクリップツールのなかの、作者のところに木谷さん 野村さんとあるものをダウンロードして解凍してできたファイルclipfile.ctaを、TextClipperフォルダに入れると使えるようになります。私はこんなツールがあったら良いなぁとうお願いをしただけです。プログラムは木谷さんと吉村さんです。

私の去年のランチョンセミナーで、論文の例文集をつくっておいて、それをコンコーダンスソフトで検索して、英文執筆に役立てると言う話をしました。その例文集の作成にもピッタリのソフトですので、お試しください。その際、改行の処理とかが必要になるかもしれませんが、いろいろ工夫してみてください。とても便利なソフトですよ。

(註1:Xoopsはこのブログで使っているWordPressのような、コンテントマネジメントシステムCMSというもので、研究室の内部ホームページで必要な資料を共有する、連絡をするなどに活用していたこともあります。いろんなレンタルサーバーで使えるので活用するのもいいかもしれません。私達は、MicrosoftのOneNoteに変えてしまったので今は使っていません。OneNoteで各人の実験結果を毎日報告してもらい、進捗状況を把握しコメントする、通勤電車の中で各メンバーの進捗状況を確認してコメントする、情報を共有する、などの使い方をしていましたが、これは役立ちました。OneNoteは絶対おすすめのソフトです)

画面、動画、テキストなどデータをクリップするソフトの紹介―その1

今日は私が使っているいくつかのソフトを紹介します。まず画面の静止画像をキャプチャするソフトです。これはWinShotを使っています。昔からあるソフトですが私のwindows10環境、windows7環境で作動しています。(残念ながらwindows10ではヘルプはでません)。起動して範囲を指定してスクリーンキャプチャするには、デフォルトではAlt+PrintScreenを押します。範囲指定の十字が出てきますので、マウスを左クリックしてドラッグして範囲を決定してクリックするとクリップボードに範囲の画面がjpgで保存されます。もちろんビットマップ保存、jpeg保存などを、アクティブウインドウ、デスクトップ、台形範囲指定、などで保存できます。保存先のフォルダの指定ももちろんできます。このソフトは教材のスライドに資料として使いたい画像を挿入するのに使っていました。

一方、論文セミナーのスライド作りでは、論文のpdfを表示させておき、pdf表示ソフトの画像キャプチャ機能’(Adobe Acrobat Professionalならスナップショットツール)を利用して必要な図や表をクリップボードにコピーして、パワーポイントファイルにペーストします。図をコピーするときにはpdfの拡大表示(ズームインの拡大率)機能を活用して、表示倍率を100%ではなく300% 以上くらいにした上で、キャプチャしたい範囲を指定してキャプチャするのがいいです。100%でやると、できた画像はスクリーンに投影すると解像度が悪くてぎざぎざが目立って使い物になりません。パワーポイントで投影したときに図の画質が十分になるためには、pdfの表示倍率を高くしてキャプチャすると覚えておいてください。

話がそれましたが、上で紹介したソフトWinShotには、さらに定期実行キャプチャというのもあって、指定した秒の間隔で、デスクトップやアクティブウインドウ、指定した台形範囲などを定期的にキャプチャして一か所のフォルダにビットマップかjpegで保存してくれるモード(ファイルに自動ナンバリングもできる)もあります。これも重宝しています。定期的にキャプチャした画像をまとめてpdfにしたりするのも簡単にできますから、この機能の応用範囲は広いです。

あと、画面上で再生されている動画やカーソルの動きなどを動画で記録するためのソフトとしては、OBS Studioとかいうソフトが有名なようです。一度ダウンロードして使ってみようと思いますので次回に報告します。また次回にはクリップボードにコピーしたテキストファイルをどんどん集めていくソフトの紹介もしますのでお楽しみに。

写真は散歩コースの途中でみかけた萩の花です。秋も深まってきました。

 

プレプリントサーバーとその活用法の紹介4―最新情報の追加です

このブログではプレプリントサーバーの活用について紹介してきました。いつも多数のアクセスありがとうございます。写真は近所でみかけたくずの花です。秋も深まってきました。

何度もNIHのVideoCastを紹介していますが、数日前に米国のポスドクの現状とポスドクとしての能力、存在感をアピールするのにプレプリントを発表することが薦められるという講演があったので紹介しておきます。Jessica PolkaさんのNIHでの講演で、米国のポスドクの現状、最初のfirst author(筆頭著者)の論文を発表するのに要する期間が、これまでになく長くなっており、論文が少ないので研究費を獲得したり、次の職を得るのに困難を覚えるポスドクが増えているのに対する対策、そして査読する能力をどのように向上させるかなどを扱っている、興味深い講演でした。
講演のスライドはここをクリックするとダウンロードできます。Google documentに保存してあるのでFirefoxではうまくいかないので、Google のブラウザChromeかInternetExplorerでアクセスしてください。青字で閲覧のみとか書いてありますが、スライドはダウンロードできます(開いたページの「ファイル」をクリックして開き、「形式を指定してダウンロード」を選んで、Powerpointやpdfなど好きな形式でダウンロードしてください。講演は高画質でダウンロードできますので、たとえば1240kの高画質でダウンロードして、適当なメディアプレーヤーでみればゆっくり講演を聴講できますのでお試しください。ハイビジョンの高画質のムービーでもみられるメディアプレイヤーとして、私はMPC-BEというフリーソフトを使っています。

JessicaさんはASAPbio(エイサプバイオ)という組織―ASAPbio (Accelerating Science and Publication in biology) is a scientist-driven initiative to promote innovation and transparency in life sciences communication. We are a 501(c)3 nonprofit incorporated in the state of California―に属していてプレプリントの利用を推奨するとともに、ポスドクのキャリアパスについても研究している方です。

講演にもありますが、論文に要求されるデータ量が激増していいます。それで昔は4年の大学院(米国の例)の場合、平均3-4年で筆頭著者の論文first author paperがでたが今では平均4-5年と論文の出版が遅れるようになっているようです。これは論文として出版されるために必要な実験量が昔の倍以上になっていることも原因であり、以下の論文で具体的に実証されています。論文中の実験量は図のパネルの数―つまりFig. 1A, Fig. 1B,. Fig. 1Cなどどある場合のA,B,Cなどの数―を数えてそれにTableの数などを加えて算出してます(註1)。下の論文やこのビデオをみてもらうとデータがありますのでご覧ください。実験量が増えたことで、論文として完成するのに時間がかかり、ポスドクや院生が論文をだすのが遅くなってしまうわけです。これは日本で多い5年プロジェクトなどでも経験しますが、ポスドクや院生や研究者にとって深刻な問題です。それをどうして救うかというのがこの講演の内容です。プレプリントを活用できるというのがこの講演の一つのメッセージです。(註1:私見ですが、さらにグラフの場合、統計処理するためサンプルのサイズN=30とかになることがよくありますので、一つのパネルといってもそこには本当に多数の実験が繰り返されている場合があり、これをカウントするともっと実験量が増えると思います)。

Accelerating scientific publication in biology
Ronald D. Vale

プレプリントのメリットは、いろいろあります。
メリットその1) 去年あたりから、グラントの申請や業績報告書にプレプリントを掲載することができる組織が激増しています。つまり就職活動や研究報告、新しい研究費の申請のときに、業績としてプレプリントが使えるようになっているわけです。
日本の方に関係あるところでは
Human Frontiers Science Program (December 12, 2016)でもプレプリントが利用できます。“The Board of Trustees of the International Human Frontier Science Program Organization (HFSPO) has decided that for competitions starting in calendar year 2017, applicants may list preprint articles in the publication section of HFSP proposals. Current HFSP awardees are also permitted to cite publications which are deposited in freely available preprint repositories in interim and final reports to the Organization.”

といった具合です。Wellcome Trust , MRCやNIH, HMMIなど大手のグラント母体もそういう方針になっています。これもASAPbioのページにリストがあります。

プレプリントについては以下のページ(ここをクリック)がまとまっています。またpreprintについて投稿してみた人の経験がこのリンクに動画と画像で紹介されています。

プレプリントサーバーは以前にも紹介しましたが、最新のプレプリントサーバーのリストがありますのでご覧ください。Research Preprints:ServerListというページです。

ここにリンクがあります。

メリットその2) プレプリントを公開すると学会の講演のように、研究者の存在感を示すことができます。

メリットその3) フィートバックがくるので論文を改善できます。bioRxivの場合は10%ほどにコメントがつくようです。他の人にコメントをみられたくないという人も多くて、そんな人は著者にemailしてきたり、twitterやFacebookなどのSNSでコメントをくれるようです。プレプリントサーバーのコメントは公開前にチェックが入っているので炎上とかなないようです。

メリットその4) 雑誌の編集者はプレプリントをみていますので、プレプリントをみてうちの雑誌に投稿してくださいといってくることinvitationも結構あるそうです。(PLos GeneticsやProc. Royal Society Bなど)

メリットその5) 研究の早い段階でプレプリントをみて連絡してくる共同研究者が見かる例も多いそうです。

メリットその6) いつどんな研究をしたかを、公開のプレプリントサーバーに記録としてのこせる(doiもプレプリントに付与されますし、プレプリントの引用を許している雑誌も増えています)上に、バージョン管理もできる。

メリットその7) 就職や研究費(グラント)申請の時、研究者としての生産性を示すことができる。これは上にも述べました。今までは論文を投稿してからアクセプトされるまでは業績や研究成果に載せられないことが多かったのですが、プレプリントを業績として認める組織が増えているので大きなメリットです。

メリットその7) そしてなによりも発見を加速させることができるのが最大のメリットでしょう。

では不安点はというと:
I’m going to get scooped!というのが最大の不安なのではないでしょうか。しかしこれは簡単にはやれないと思われます。論文の内容をプレプリントでみて、それをもとにもっとよい論文を書くというのですが、これをやるのはほぼ不可能だと思います。アイデアとか実験とかはプレプリントに書かれており、投稿日もバージョンも公開されているので剽窃は困難です。アイデアや方法、結果のクレジットを早々ととって、研究成果を共有するメリットのほうがいまや大きくなってきているようです。物理とかコンピュータサイエンスの分野でのプレプリントの経験から、scoopするのが困難でリスクをともなうことは明らかなことだと思います。その他の考える不安点も講演で議論されていますのでご覧ください。

どの雑誌がプレプリントへの投稿前の掲載を許可しているかは、ここをごらんください。

またプレプリントの雑誌会というのもネット上にいろいろあるのでその紹介やレフリーのコメントなどを公開する動きが加速しているという話も講演にあります。

夏休みおすすめソフト(3)RstudioにR commanderとそのプラグインEZRを入れてみよう―EZRインストールのトラブルシューティング

前回はRとRstudioの紹介をしました。続いてRstudio上からRのプラグインであるR commanderと、RコマンダーのプラグインであるEZRをインストールする方法を紹介しようと、最新版のRを使って紹介記事を書いていたのですが何故かEZRのインストールがうまくいきませんでした。Rcmdr(R コマンダー)をRstudioからインストールしたあと、EZRをRstudioからインストールする時うまくいきませんでした。解決したのでうまくいったRコマンダーとEZRをインストール法を紹介しておきます。

前回紹介した方法でRをインストールし、次にRstudioをインストールします。
次にRstudioを起動してRcmdrをインストールします。やり方は、

Rコマンダーのインストール:
右下のpane(パネルのようなもの)からpackagesタブを選びます。boot, class, clusterなどのsystem libraryのパッケージがすでに存在するのがわかります。アルファベット順にならんでいるのでずっとリストをみていってもR commanderなどのパッケージ(Rcmdrなど)はありません。これをインストールするのが今回の作業です。 右下パネルのInstallタブをクリックします。すると新しいウインドウが開いてpackagesという部分にカーソルが点滅していますので、そこにrcmdrといれてみましょう。ポップアップがでてきてRcmdr以下、RcmdrMiscとかRcmdrPlugin.aRnovaなどがずらーっと一覧ででてきます。下ののほうにRcmrPlugin.EZRもありますね。まずRcmdrを選択します。install depencenciesのチェックがはいっているので、そのままにします。そしてInstallボタンを押します。すると左下のコンソールpaneにいろいろいろ赤字で表示がはじまり、packagesを次々と解凍してインストールしているのがわかります。結構な時間がかかると思いますが終わるまで気長に待ちましょう。赤字でいろいろ経過が表示され、その後、カーソルが点滅してすすまなくなったように見えますが、5分も放置しておくと次にすすむようでパッケージの解凍などに時間がかかるようです。コンソールパネルにThe downloaded binary packages are in どこそこ、というパッケージの保存場所の表示がでたら終わりです。終わると右下のPane{パネル)に前にはなかった様々なパッケージがあるのがわかります。パッケージの表示パネルにRcmdrとRcmdrMiscが表示されているのを確認してください。

次に、library(Rcmdr)とコンソールにうちこんでR commanderを起動。see ?effectsTheme for details.という赤字のメッセージでRstudioのコンソール画面は止まるので、Rstudioのウインドウを最小化して画面をみると、「Rcmdrが利用する次のパッケージがありません」というメッセージのでているポップアップウインドウがあり、「これらのパッケージをインストールしますか?」ときいてくるので、はいをクリック。すると、「ないパッケージをインストールする」という画面がでるので、CRANの指定でOKを押します。

Rstudioにもどって見ていると、つぎつぎと赤字でインストールがすすみます。そしてインストールが成功すると>の印がコンソールにでますので、インストール終了です。

コンソールにlibrary(Rcmdr) とうちこんでエンターを押すと、Rコマンダーのポップアップウインドウが自動で開きます(日本語です)。

EZRのインストール:
上の図のR コマンダーのメニューのツール(ヘルプの左)をクリックして、Rcmdrプラグインのロードをクリックします。(ここが大事なのですが、この段階で、Rstudioの右下のPackageのパネルでRcmdrPlugin.EZRにチェックが入っていないことを確認してください。つまりRにロードされていませんので注意してください。私は最初、Rcmdr, RcmdrPlugin.EZRの順にRstudioの右下パネルでチェックをいれて、Rコマンダーを立ちあげていました。そうするとEZRがこのプラグインのロードに表示されない=RコマンダーからEZRが使えないという不具合が起こります。必ずPackageのパネルでEZR pluginにチェックが入っていないことを確認してください。上の図のようにプラグインにEZRが選択されて表示されているので、OKをクリックします。するとRコマンダーを再起動しないとプラグインを利用できません、再起動しますか?(下図)ときいてくるので「はい」をクリックします。

再起動するとEZRの画面がでます(下図)。Rstudioとは別のウインドウに表示されるので注意してください。

メニューの一番右に「標準メニュー」というのがでていたら成功です。ここに本来のRコマンダーのメニューがあつまっていて、Rコマンダープラスアルファの機能がその他のメニューから使えます。解析結果のグラフなどはRstudioのplotパネルではなく独自のポップアップパネルにでてきます。

Rstudioにもどってみると、右下のパネルのPackageのところのRcmdrPlugin.EZRにチェックが入りました。

EZRを閉じるときには、Rコマンダーのメニューから閉じて、その後、Rstudioを閉じてください。

以上です。

その他のRstudioについての注意:
1)RstudioではLinuxとおなじようにTab補完機能が使えます。たとえばコンソールでlibrary(Rとうちこんでtabキーを押すと、RcmdrとかRcmdrPlugin.EZRとかの候補がポップアップしますので、適当なのを選んでエンターをおせば入力の手間がはぶけます。これは便利な機能です。

2)あとR commanderが起動している状態でRstudioを終了するときの注意。Rstudioでquitコマンドをいれても永遠に終わらないので困ります。これは、R commanderの終了画面でOKをおさないとR コマンダーが終了できないためです。RstudioのquitコマンドではRコマンダーはquitできず、quitting sessionsが永遠に続くのです。

3)インストールしたパッケージは、ドキュメントのフォルダにあります(windows7以上の場合)。まっさらにRをしたいときは、Rをアンインストールした後、このドキュメントフォルダ内の、Rフォルダを削除しないとパッケージは残ります。

4)Rstudioでは4つのpaneが表示されるといろんなところに書いてあります。でも一番左上のソースエディタが表示されていない人が多いのではないでしょうか。これを表示させるには、ToolsからGlobal Options、Pane LayoutとすすみEnvironment, History, connections, presentationsと並んである画面にあるViewerのチェックをいれると表示されるようになります。もう一つよくあるのは、ソースエディタが隠れていて見当たらないケースです。この場合は、sourceと書いてあるのでわかります。その部分をマウスでドラッグして拡げればソースエディタが見えるようになります。

 Firefox ESR版の重要な更新についてのお知らせ―古いアドオンがとうとう使えなくなりました

台風の大きな被害が各地で報道されていましたが、今度は大きな地震にみまわれてしまいました。被災した皆様に心からお見舞い申し上げます。また救出作業や停電やライフラインの復旧など、様々な活動に日夜尽力されておられる皆様に心から感謝いたします。

 

今回は以前からFirefox ESRを使っていた皆さんへのお知らせです。

とうとう本格的にFirefox Quantum最新版への移行が必要になりましたね。Firefox ESRがFirefox Quantumベースの最新版になったため、自動更新にしている方は今までESRで利用していた古いアドオンがほとんど使えなくなっていると思います。また手動で更新したら、せっかくESRにして使い続けていたESRでしか動かなかった古いアドオンが使えなくなってしまいますので気をつけてください。たとえばScrapBookとかです。ScrapBookは便利なアドオンですので、最新のFirefoxに対応してもらいたいものです。要望はあるようですがなかなか開発されないようです。その点、Life Science Dictionaryはすぐに最新版に対応してもらって本当に良かったと思います。 FirefoxChrome版のありかを念のためにリンクしておきます。

以下に前のバージョンのFirefox への戻し方を書いておきます。
ただ古いFirefoxではセキュリティーアップデートが継続されませんので、使い続けることはおすすめできません。それでたとえばScrapBookの場合だったら、データを書きだすなどしてこれ以降は古いバージョンのFirefoxを使わないのがよいでしょう。最新版に自動アップグレードされてしまって、古いアドオンをどうしても使う必要がある(バックアップのためなど)ときの対処法を書いておきます。(私のwindows10ではうまくいきましたがその他のシステムでは試していません)

1)新しいFirefox(60番台のESR版)では今まで使っていた多くのアドオンが使えなくなっています。では記憶させていたログイン情報とかパスワードとかはちゃんと自動アップデートされたFirefoxに記憶されているでしょうか。念のため、ログイン情報やパスワードがちゃんと新しいFirefoxに移行されているかどうかを確認してください。このFirefoxをこれからいじりますので、これらが消えてしまうと大変です。さらに念をいれて、以下のやり方が失敗した時に備えて、私はログイン名とパスワードを表示した画面をデジカメで撮影しておきました(パスワードなどを書きだすアドオンが動いておればそれで書きだしてもいいです)。

では古いFirefoxに戻しましょう。

2)自動更新で新しくなってしまったFirefox Quantum ESR版のFirefoxを起動し、ヘルプメニューにあるトラブルシューティング情報という項目をクリックしてみてください。プロファイルフォルダへのリンクがあるのでクリックしてプロファイルフォルダの場所を開いてください。Firefoxはプロファイル(profile)フォルダというフォルダにログイン情報とかブックマークとか、アドオンの情報などすべてを集めていますので、これさえあればトラブルがおこっても大丈夫、ちゃんと動いていた時のFirefoxに戻すことができます。どこか好きなところにこのプロファイルフォルダを中身ごと全部コピーしてバックアップとしてとっておきます。これがあれば最悪、自動アップグレードした状態へもどれます。

3)古いFirefoxに戻すやり方は簡単です。自動アップグレードされる前の古いバージョンのFirefox 52.9.0 ESRのインストーラー(以下にありかを書いておきます)を使って、インストールします。 デフォルトでインストールすれば、古いバージョンが復活するはずです。必要なアドオンを起動して、使え困りまりますので、ツール、オプション、詳細と選択して、更新をクリックし、更新を自動的にインストールするのチェックを外して自動インストールしないようにしておきましょう。

自動更新される前のFirefoxESR版ですが、昔インストールしたときのインストーラファイルがあればそれを使います。なければ以下のftpサイトからダウンロードできます。Mac版、Windows版、Linux版など昔のものから最新のものまでいろいろそろっていますので、必要なインストーラーをダウンロードして、インストールすると、更新される前のバージョンに戻ります。

ひとつ前のバージョン52.9.0esrここにあります。 ウインドウズ版は win64のディレクトリをクリックして開いたフォルダからダウンロードできます(win32は32ビット版)これは前にインストールしてあったScrapBookが使えますが、停止されておりaddonのインストールメニューから探して再インストールする必要があります。もう少し古いもの52.7.3esrここにあります。これはインストールするとすぐにScrapBookが使えます。

覚えておくといいのはプロファイルフォルダの管理のことです。実は私はFirefox Quantumをめったに使っていませんので、以下はFirefox Quantum以前のFirefoxでしか試していません。Firefox Quantum ではうまくいかないかもしれませんので注意してください。

プロファイルフォルダにはブックマークだのアドオン情報などがすべてあつまっていますので、別の パソコンにFirefoxをインストールしたとき、もとのパソコンの情報をそっくり引き継ぐのは新しくインストールしたFirefoxのプロファイルフォルダの中身を、前のパソコンのプロファイルフォルダの中身にそっくり置き換えれば可能です。私が退官するときに古いパソコンのFirefoxの設定をプロファイルフォルダのコピーで別のパソコンへ移しました。もう少し詳しく書くと以下のとおりです。

新しくFirefoxをインストールしてできたprofileフォルダの場所を上と同様にヘルプメニューのトラブルシューティング情報から探します。探し出したプロファイルフォルダの中身を全部消去します。空にしたプロファイルフォルダをクリックして開き、そこに先ほどコピーしておいた設定を移行したいFirefoxからコピーしておいたプロファイルフォルダの中身を全部選択して丸ごとコピーするといいです。こうすると、昔のFirefoxがよみがえります。

写真は道端に咲いていた月見草です。


					

Google翻訳で中国語のサイトを読む―日本語ではなく、必ず英語に翻訳すること!

中国語のサイトを皆さんはどのように読んでおられますか?Google翻訳は結構使えます。
いろんな言語の翻訳に使えますが、今回は中国語のページ(後半を参照してください)を訳してみます。Google翻訳のページを開いて、翻訳したいホームページのurlや翻訳したい文章を入力します。デフォルトは日本語を英語に翻訳するようになっていますので、元の言語の日本語とある部分のプルダウンから「言語を検出する」を選ぶと、自動的にホームページの言語を検出してくれて今回の場合は中国語になります。こうして原文の言語を選んだら、次に翻訳する言語を選びます。デフォルトでは中国語→日本語の翻訳となりますが、やってみたらわかりますが使い物になりません。そこでまず英語に翻訳(中国語→英語)してみてください。英語へのGoogle翻訳の方が格段に正確でした。これは需要の多さによるのか、中国語と英語が語順などで似ていることによるのかは私にはわかりません。この方法で、中国語の記事を読むようになると、情報収集が格段にはかどりますのでためしてみてください。(以前、アインシュタインからの墓碑銘の記事を書いたときにもGoogle翻訳(ポーランド語から英語)をつかっていました。

雑誌Scientific Americanの4月号(今年3月発行)にThe Brain, Reimaginedという記事が掲載されていました。記事の内容は神経伝達のメカニズムとしてノーベル賞を授賞していたホジキン・ハックスレーの説では説明できない現象(たとえば麻酔が効くこと)が存在し、それらの現象は神経伝達がelectromechanicalな孤立(圧縮)波ソリトンを介して起こるものであるとすると綺麗に説明できるという記事でした。そのきっかけとなる現象は日本人の研究者 田崎一二博士(National Institute of Healthに長年勤務 98歳まで現役の科学者だったそうです。リンクの後半の先生の写真のあたりをご覧ください)による発見であり、Thomas Heimburg(コペンハーゲンのニールス・ボーア研究所)教授の研究によって田崎の研究が一躍注目を浴びたとあります。本当なら教科書を書き換えることになり、ノーベル賞は確実という業績です。Heimburg先生のホームページに論文リストがのっていますので興味あるかたはご覧ください。最初の論文はPNASにでたこの論文だそうです。前に紹介したpreprintサイトにあがっている最新の解説もわかりやすいです。

上の記事を読んで田崎一二博士の業績を検索してみると、中国語のこのサイトの記事がヒットしてきました。上述の記事の引用プラス写真なども含めてすばやくアップロードされていたので驚きました。日経サイエンスはこの雑誌の翻訳を載せていますが、ほかのオリジナル記事が多かったからでしょうか、このScientific American誌の記事の翻訳は日経サイエンス9月号に掲載されたようです。是非ご覧ください。

このところ台風がきたりして物凄い風が福岡でも吹いていました。写真は田んぼに登場した案山子です。毎年このようなシュールな案山子があらわれますが、夜こんな案山子に会うと怖いかもしれません。

物理や数学、工学や生物科学の新刊本をDOABでダウンロードしてみよう:オープンアクセス本のすすめ

このところ、古典のダウンロードサイトばかり紹介していましたが、今日は最新の本がダウンロードできるサイトを紹介します、。去年の講演でも紹介したサイトですが、
DOAB (Directory of Open Access Books)というサイトにはSpring-Natureをはじめいくつかの出版社が公開しているオープンアクセス本がまとめられていて便利です。たとえば生物科学のビッグデータの解析に重宝するGO termというのがありますが、その解説本The Gene Ontology Handbook」が丸ごとダウンロードできるのがわかります。このサイトでいろんなキーワードをいれて探すと、2018年の新刊を含めて、オープンアクセスで公開されている本がいろいろあって面白いです。例えば今日、Mathematicaという数式処理ソフトでこのサイトで検索をかけてみました。九大の生物学科でも昔はMathematicaを使う演習がありましたが、数式処理ソフトとしては有名な市販ソフトです。するとこんな本が見つかりました。

Control Theory Tutorial
Basic Concepts Illustrated by Software Examples
(Steven A. Frank)

検索結果のページの下の方にある、Free Accessというボタンを押してみてください。ダウンロードリンクが開きます。この本は別途、Mathematicaのコードがダウンロードできるようにしてあり、生命科学にも応用範囲のひろい、制御理論の基礎をMathematicaを動かしながら勉強できるようです。著者は生物科学系のカリフォルニア大学の先生で、生命科学の分野の人が制御理論を学ぶのに最適の本のようにみうけられます。興味のある方はダウンロードしてみてください。他にも各人の好みのキーワードで検索するときっとぴったりの本が見つかると思います。

写真は毎日の猛暑を逃れるため、夕方 山の川にいった時にみつけたアメンボです。どこにいるかわかりますか?

プレプリントサーバーとその活用法の紹介―bioRxivの利用法3

プレプリントサーバーbioRxivの利用法の第3回です。前回紹介したように大学や大学院、そして研究室での論文ゼミでbioRxivを活用しているところが増えています。出版される前に論文を読めるというメリットの他に、その論文を査読(レフリーをする)することを体験できますし、その論文がその後どのように印刷出版されるかをたどっていくと、レフリーとのやりとりなども追跡できるので研究者の卵にもとても勉強になります。以下のサイトをみるととても役立つと思いますのでご覧ください。

まず一番のおすすめは、preLights A というサイトです。これはプレプリントのハイライトサービスで、雑誌Journal of Cell ScienceとかDevelopmentとかを出版しているThe Company of Biologistsがスポンサーになっているサービスです。生物関係のおすすめのプレプリントを教えてくれるサービスですので是非使ってください。今日みてみるとテントウムシの模様のできるメカニズムのゲノムからの解明などの研究がハイライトされています。ハイライトの一覧は、ここにハイライトされているプレプリントへのリンクがありますのでブックマークしてください。

biOverlay はプレプリントサーバーにある論文を、独自に(勝手に)選んで勝手に査読してその結果を公開しています。こういうのをoverlay journalというのだそうです。査読の仕方の勉強にもなりそうですね。ご覧ください。

Peer Community Inというのも面白いアイデアです。著者はプレプリントサーバに原稿をアップロードした後、こちらのサイトにも原稿を読んでもらうよう依頼します。こちらのサイトが原稿を独自に査読にまわすかどうか決めて、査読にまわされれば匿名のレフリーが査読します。査読がOKになったらこのサイトで推薦の辞つきで公開されるというわけです。これで著者が得心したら論文としてdoiもわりふられて業績になるという仕組みです。著者がちゃんとしたjournalに投稿するのも問題ありません(このへんの仕組みの図と詳しい説明がここにあります)。推薦の辞はプレプリントだけではなく、すでに公開されている論文についても書かれることがあるようです。
投稿できる分野は進化生物学、生態学、古生物学となっています。以下にリンクがあります。

 Peer Community in Evolutionary Biology, Peer Community in Ecology or Peer Community in Paleontology

写真は、散歩の途中で写真をとってくれと、せがんでいるように声をかけてきたスズメの子です。人を怖がらず、写真をとっている間ずっとポーズしていろんな方向をむいたりしてくれていました。数日前からヒグラシも鳴きはじめ季節が進んでいます。