昨日の記事で書いたOllamaをUbuntu で動いているPCにインストールして使ってみました。メモリ32G ByteでNVIDIAは470という、古いPCですが、OpenAIのgpt-oss:20b モデルがちゃんと動きました。
OllamaのLinux版のダウンロードページ
https://ollama.com/download/linux
にいって、Ubuntuのコマンドラインでサイトに書いてある一行のコマンド
curl -fsSL https://ollama.com/install.sh | sh
を実行するだけで、自動でインストールが行われます。
マニュアルインストールもできますが、いろいろめんどうらしいので上のコマンドを実行すると、一発でインストールが完了しました。私のPCにはcudaやnividiaの純正ドライバもインストール済みなので簡単に終わったのだと思います。Ollamaをインストールしただけなので、LLMはまだインストールされてません。そこでこちらからよさそうなLLMのモデルを選びます。
https://ollama.com/models
いっぱいモデルがあります。今回はOpenAIのGPT-OSS latestを選びました。https://ollama.com/library/gpt-oss
LLMモデルのインストールはコマンドラインで
ollama run gpt-oss
とうつだけです。自分のPCに適合したモデルが自動でインストールされます。何もせずにただ待っているだけで14G ほどのモデルがダウンロードされて起動しました。gpt-oss 20bモデル（これは16Gのメモリーがあれば使えるそうです）が起動してプロンプトを受け付ける状態になりました。このLLMはテキストを入力して、テキストで返事してくるというモデルなのでプロンプトにテキストを入力してエンターを押します。すると思考過程を出力しながら、回答を考えて、テキストで回答してきます。
試しに、生命科学分野の論文を書くためのBest Practiceを教えてと英語でいれると、大変実用的な論文の書き方指南書を出力してきました。明日、どんなのかはお見せしたいと思います。日本語を入力して英語にするのもできましたし、ネットにでていた「空が青いのは何故かを、物理学の観点から説明してください」というプロンプトにも、ちゃんとレーリー散乱の解説をまじえて回答してきました。ローカルでいろいろ使えそうで面白かったです。
あっけなくローカルでLLMが使えるようになって、驚いています。皆さんも試してみると楽しいと思います。また導入でわからないことがあった場合は、こちらの記事が参考になります。
『無料でGPT-OSSを使う：Ollama導入ガイド』
https://apidog.com/jp/blog/run-gpt-oss-using-ollama-jp/