Toro_Unit

フリーランスのフロントエンドエンジニア、WordPress エンジニアです

AI Provider for LM Studio ってのを作ってみた

Categories:


AI Provider for OpenAI のほぼほぼコピーみたいな感じでサクッと作れるのでは?ということで、LM Studio 用の AI Provider を作ってみました。

https://github.com/torounit/ai-provider-for-lm-studio

プラグインをインストールして、LM_STUDIO_SERVER_URL を適当に設定すれば使えます。wp-config.php に以下のような感じで書く感じです。便利そうだったらそのうち管理画面上から設定可能にしようかなとは思ってます。

define( 'LM_STUDIO_SERVER_URL', 'https://your-lms-server' );

デフォルトでは、http://localhost:1234 を指しているので、npx @wordpress/env --runtime=playground とかで起動するぶんには、なにも設定せずに動くと思います。docker http://host.docker.internal:1234 等を指定してください。

LMStudio 側で認証を有効にした場合は、作成したトークンを AI コネクタの設定画面上の API キー設定の所に入れてください。

ネットワーク上のホストで実行するには LMStudio をそこから見えるようにしないといけないので、tailscale とか Cloudflare Access とかを使ってそのサーバーからアクセス出来るようにする必要があります。

特長としては、Text Embedding 用のモデルも WordPress 側から呼び出せるようにしてあります。ベクトル検索のプラグインをローカルで開発するとかそんな用途で使うのが良いんじゃ無いでしょうか。

色々気にせず雑に使い倒せたりデバッグログとかが見えたりするのは、ローカル LLM のメリットかなと思ったりしてます。まぁ速度はかなり遅いのでタイムアウトしたりもしますので、実験とか遊びで使う感じになるのかなと現時点では思ってます。今後の未来に期待したいところ。AIプラグイン の機能もテキスト生成とかは使えるはずなので遊んでみてください。

AI