個人で推論環境の構築やモデルの評価、プロンプトの調整などを行っています。メモです。
AMD GPUでOllamaを動かしたself-hostの推論基盤。Open WebUI、SearXNG、JupyterをDocker Composeで管理している。
model_settings.jsonにモデルごとの設定を整理して、指示の安定性を測りつつある。
SDXLとWan2.7をローカルで動かしている。生成を試しているところ。
yfinanceで株式データを収集し、Streamlitのダッシュボードに描画。cronで自動更新している。
スキル、memory、cronジョブの組み合わせを試しつつある。
Sunoでの楽曲生成とピクセルアートを試している。そのへん。