hitode909の日記

以前はプログラミング日記でしたが、今は子育て日記です

大AI時代、家庭でローカルLLMを使い倒したい。AI PCを買ってきたらいくらで何ができるか?と考えてちょっと調べたメモ。

  • Evo-X2
    • 2〜30万円くらいでコスパが良いのか、使っている人をよく見る
    • これを使うと何がでいるか?→デスクトップPCとして使ったりサーバーとして使ったり
    • ChatGPTに聞かなくても、自前で構築したUIなどから処理を呼び出したりできる
    • できることで考えると画像合成を一生続けさせて、それを眺める、みたいなもったいないことができる
  • MacBookPro
    • 70万円くらいになる
    • 飽きたら50万円くらいで売れたら普通のパソコンと同じくらいの価格とも言えなくもない
    • たとえば四条大橋であなたの似顔絵をローカルLLMが書きます、とかやって小銭を稼ぎたかったらこっち
  • 各社LLMをAPIで呼び出す
    • ほしいときだけ使えるので一番安い
    • プライバシーが必要ない場合はこれでよさそう

とりたてて、これをやるんだ!!みたいな強い意思はなくて、n8nで毎朝のニュースをまとめてもらえたらいいな、くらい考えていたけど、それなら家庭にデプロイする必要はなくて、n8n Cloudなどつかえばワークフローの構築などは体験できそう。
よく言われる、API事業者のAPIを呼び出すことで、個人情報が渡ってしまうのは気になるか?というと、自分の年収情報とか住所とかをOpenAI社にわたすことにはそんなに抵抗はない。命さえあればよくて、命に別状ないならどちらでもいいと感じる。
逆に、ローカルに構築した怪しいサーバーに脆弱性があって、そこからすべてのデータが抜かれていく、みたいなほうがありそうな気がする。
先日、うちの家を建ててくれた工務店のウェブサイトがリニューアルするやいなやお知らせのWordPressがハッキングされていて、ハッキングされてるみたいです、って連絡してあげたことがあった。
これが会社で扱うような他人の個人情報なら、勝手にAPI事業者に送り出すわけには行かないので、ローカルで処理できる魅力はありそう。