技術系なぶろぐ
大規模言語モデル
ほーりー
すごい久しぶりの更新
さて、大規模言語モデルというものです。LLMともいわれます。
ChatGPT とか有名ですね。だけど、あれ、クラウドですよね。クラウド、いや！
だって、いつ消えるかわからんし。彼らが「やーめたっ」って言えば終わっちゃう。
なんで、ローカルで動かしたいんです。Stable Diffusoin もローカルで動くから遊ぶんです！
で、LLM。Command-R＋ がすごいらしい。
104Bです！すごいんです！！って言ってもよくわからん。
とりあえず、お試ししてみましょう。huggingface にある、お試しサイトです。これはまぁ、クラウドですね。
リクエストはこれ
旧約聖書の世界を舞台にラブコメのあらすじを作って
そして出てきた出力が・・・・・
舞台は、旧約聖書の世界観をモチーフにした異世界。主人公は、ごく普通の高校生・神山光（かみやま ひかる）だが、ある日突然、この異世界に召喚されてしまう。
光がたどり着いたのは、天使と悪魔が対立し、日々激しい戦いが繰り広げられている世界だった。天使たちは「神の国」を、悪魔たちは「闇の国」を築き、両者は常に緊張状態にあった。
光は天使たちの長である大天使ミカエルに召喚されたことを知る。ミカエルは光に、この世界の救世主として選ばれたことを告げる。光の使命は、天使と悪魔の争いを終結させ、平和な世界をもたらすことだった。
しかし、光は争いごとが苦手な平和主義者。剣や魔法を使った激しい戦いよりも、話し合いや交渉で問題を解決したいと願っていた。
そんな光を支えるのが、2人のヒロイン、エリエルとルシフェル。エリエルは優しくて芯の強い天使の戦士で、光のよき理解者となる。ルシフェルは悪魔のプリンセスだが、美しい容姿とは裏腹に、好奇心旺盛で茶目っ気たっぷりのトラブルメーカー。光とエリエルをからかっては、楽しそうに笑う。
光はエリエルやルシフェルとともに、天使と悪魔の争いを鎮めるための旅に出る。さまざまな土地を訪れ、個性豊かな仲間たちと出会いながら、光は自身の持つ不思議な力を使って、争いを解決していく。
一方で、光たちは闇の国の王・サタンや、天使と悪魔の均衡を崩そうと企む謎の勢力とも対峙することになる。光は時に苦悩し、時にエリエルやルシフェルに支えられながら、この世界の平和のために奮闘する。
戦いを通じて、光とエリエル、ルシフェルの絆は深まっていく。やがて、光はエリエルとルシフェルのどちらかを選ばなければならない状況に陥る。天使と悪魔、光は2人のヒロインの間で葛藤する。
果たして、光は天使と悪魔の争いを終結させ、平和な世界をもたらすことができるのか。そして、光はエリエルとルシフェルのどちらを選ぶのか。旧約聖書×異世界転生ラブコメ、その結末は──。
「神山光と天使と悪魔のテトラグラマトン」──それは、旧約聖書をテーマにした異世界で繰り広げられる、青春と冒険、友情と恋の物語である。
おいマテ、ほんまにこれ、自動生成したんか？！けっこう本気で読みたいぞ。
しかもこれ生成するのに5秒かかってない。いや、すごいわこれ。
さてさて、じゃあそんな楽しそうなもの、ローカルで動かしたい！
というわけで、LM Studio の出番です。
LLMの統合環境みたいなツールですね。商用利用はライセンス外だそうです。
マシンはこんな感じ。
マシン：Proxmox上の仮想マシン
CPU：2 Core
Mem：32GB
GPU：GeForce RTX2080 Ti (VRAM 11GB)
モデル：lmstudio-community・c4ai command r v01 25B Q2_K GGUF
n_gpu_layers：20
そして、リクエストはこちら
古事記の世界を舞台にエロ小説のあらすじ作って
さて、出てきました。さすがに全モデルがGPUに乗っておらず、CPUでも動いてるので時間はかかります。5-10分くらい待ったでしょうか
日本初の歴史書である「古事記」の世界を舞台にしたら、確かに大変妖艶な物語になりそうですね。
例えば、天照大神と素戔嗟（すさのは）命が織りなす物語。
かつて、高天原に輝く光背の長い天照大神は、弟の神である素戔嗟命の行動が気まぐれで怒り、天岩戸に隠れてしまい、世界は闇に包まれます。そこに天照大神への信仰心を持つ一人の姫が現れます。彼女の名は、埀（うど）。神々しさが滲み出るほどに麗しい彼女でしたが、実は人間。
ある日、天岩戸の前に人影が見えたため、 curiousな姫は見に行くと、そこには素戔嗟命が一人、たたずんでいました。「わたしはあなたのような強さを持ち合わせてはいないけれど、ただひとすじに輝く光を慕ってるわ」と、埀は打ち明けます。その言葉に素戔嗟の心は揺れ、やがて二人は恋に落ちてしまいました。
しかし、そんな二人の間を、一神が裂こうとします。それは天照大神。彼は自分が放つ光のような、ただひたすら進む道ならいいが、寄り道する弟が許せないのです。素戔嗟命は埀に別れを切り出され、絶望した日々。そんな彼を天照大神の神殿で織物をする埀が見つけ、二人は神々しい情熱で抱き合います。「わたしはあなたの光に照らされるの」――そして、抱擁は深めていき、二人は一体となってしまいます。
それをきっかけに、素戔嗟命は天照大神のもとに戻り、兄弟関係は元通りになりました。しかし、それは二人の間の秘め事の始まりでした。夜な夜な、天岩戸からこっそり抜け出し、埀の元へ通う素戔嗟命。光と闇が交わる淫魔の様子は、高天原の誰にも知ることはできませんでした。
そして、二人の間に産まれた子どもの手取り次いで生まれたのは、光と闇に包まれた不思議な子――「月日」と「星」の兄弟でした。二人はそれぞれ成長すると、天岩戸を抜け出し、世界に光と希望をもたらすことでしょう。
如何に光が差し出すかはわからないけれど、確かに二人の間に生まれた輝きこそが、再び世界を照らすのです。
もう一声、エロエロにしてほしかったところですが、十分に面白そうです。
Command-R+ が 104B なのに対して、Command-R だと 35B。Command-R は Command-R+ の前身なので、規模が小さいんですよね。Command-R でこれだけできるんだから、Command-R+ を動かしたいところだが。
64GBのVRAM乗ったGPU？
NPU積んだCPUってどうなんだろう？夢が広がる