FreeLLMAPI - OpenAI互換フォーマットを統合するオープンソースのAIモデル集約プラットフォーム。 - AiBoss

FreeLLMAPIとは何ですか？

FreeLLMAPIは、オープンソースでOpenAI互換のプロキシサービスであり、約14のAIサービスプロバイダーからの無料クレジットを単一のAPIエンドポイントに集約し、月間合計約[金額不明]のクレジットを提供します。 13億トークン 無料の推論クレジットが付与されます。このプロジェクトはTypeScript/Expressをベースに構築されており、自動フェイルオーバー、インテリジェントルーティング、キー暗号化、使用状況追跡をサポートしています。個々の開発者によるローカル環境での実験やプロトタイピング向けに設計されています。

FreeLLMAPIの主な機能

OpenAI互換APIプロキシ外部暴露基準 /v1/chat/completions そして /v1/models このエンドポイントは、公式のOpenAI SDK、LangChain、LlamaIndex、およびその他のクライアントと互換性があり、わずかな変更を加えるだけで使用できます。 base_url すぐに接続できます。
複数のプロバイダーからの無料割り当ての集約同時に、Google Gemini、Groq、Cerebras、SambaNova、NVIDIA NIM、Mistral、OpenRouter、GitHub Models、HuggingFace、Cohere、Cloudflare、Z.ai、Moonshot Kimi、MiniMaxなど約14のプラットフォームと統合され、月間合計で約[金額不明]の収益を上げています。 13億トークン 自由な推論枠。
自動フェイルオーバー優先プロバイダーが429/5xxエラーを返した場合、またはリクエストがタイムアウトした場合、自動的に冷却状態に移行し、事前に設定された優先順位に従って次のプロバイダーが試行されます。再試行回数は最大20回です。
スマートな料金と割り当て量の追跡各 (平台, 模型, 密钥) このシステムは、RPM、RPD、TPM、およびTPDの使用状況をリアルタイムで追跡することで、ヘルスキーが常に制限内で使用されるようにします。
スティッキーセッションロック複数ターン対話では、30分以内に同じモデルに固定することで、処理途中のモデル切り替えによる出力品質の低下やコンテキストの破損を防ぎます。
AES-256-GCM鍵暗号化アップストリームプロバイダーのAPIキーはSQLiteデータベースに静的に暗号化されており、リクエストが行われる前にメモリ上で一時的に復号化されるだけなので、キー漏洩のリスクが軽減されます。
統合認証トークン管理クライアントは単一の freellmapi-… ベアラートークンアクセスプロキシを使用することで、複数の上流エンティティの実際の鍵をコード内に公開する必要がなくなります。
SSEストリーミング出力全面的なサポート stream: true サーバー送信イベントはストリーミング配信され、長文テキストが単語ごとに生成されるシナリオにも対応しています。
関数呼び出しOpenAIスタイルをサポート tools / tool_choice エージェント開発のニーズを満たすための複数ラウンドにわたるツール呼び出しプロセス。
ビジュアルダッシュボードとプレイグラウンド組み込みのReact/Vite管理バックエンドを備え、バックリンクの優先順位のドラッグ＆ドロップによる調整、Playgroundでの迅速なモデルテスト、レイテンシ、成功率、トークン使用量などの24時間/7日間/30日間の統計情報の表示をサポートしています。
軽量なローカル展開TypeScript/Expressをベースに構築されており、使用していないときのRSSフィードは約40MB程度で済むため、PM2/systemdを介してRaspberry PiなどのARMデバイスに常駐させることができます。

FreeLLMAPIの使い方

クローン作成：git clone https://github.com/tashfeenahmed/freellmapi.git && cd freellmapi && npm install。
設定キー：cp .env.example .env そして32バイトを生成する ENCRYPTION_KEY AES-256-GCM暗号化に使用されます。
サービスを開始する：npm run dev 同時にバックエンド API を起動します (:3001）とダッシュボード（:5173）。
アップストリームキーを追加する：存在する http://localhost:5173 の Keys 各プラットフォームの無料APIキーをページに貼り付けてください。
バックリンクを調整する：存在する Fallback Chain ページをドラッグ＆ドロップして設定することで、プロバイダーの優先順位を設定できます。
統一トークンを取得するパネルで生成 freellmapi-… 単一の無記名トークン。
SDK呼び出し：改訂 base_url="http://localhost:3001/v1"，model 設定 "auto" または、具体的なモデル名。
cURL呼び出し：に向かって http://localhost:3001/v1/chat/completions 標準のOpenAIフォーマットでリクエストを送信してください。
遊具施設の確認Playgroundダッシュボードにプロンプトを直接入力して、接続性とルーティングをテストしてください。
常に背景に配置されているPM2やsystemdホスティングを介して、Raspberry PiなどのARMデバイス上で長期的に動作させることができます。

FreeLLMAPIの主な利点

OpenAI標準に準拠外界との接触 /v1/chat/completions そして /v1/models このエンドポイントは、公式のOpenAI SDK、LangChain、LlamaIndexなど、互換性のあるクライアントであればどれでもサポートしており、変更を加えるだけで済みます。 base_url すぐに接続できます。
14のプラットフォームから集約された無料割り当てGoogle Gemini、Groq、Cerebras、SambaNova、NVIDIA NIM、Mistral、OpenRouter、GitHub Models、HuggingFace、Cohere、Cloudflare、Z.ai、Moonshot Kimi、MiniMaxなどと同時に統合されており、合計で月額約[金額不明]の費用がかかります。 13億トークン 自由な推論枠。
自動フェイルオーバー優先プロバイダーが429/5xxエラーを返すかタイムアウトした場合、そのプロバイダーは自動的にクールダウン状態になり、優先順位チェーンの次のプロバイダーが試行されます。サービスの継続性を確保するため、最大20回の再試行が行われます。
スマートな料金と割り当て量の追跡各 (平台, 模型, 密钥) このシステムは、RPM、RPD、TPM、およびTPDの使用状況をリアルタイムで追跡し、手動切り替えを避けるために常に許容範囲内の健康状態を示すキーを選択します。
粘着性のある会話メカニズム複数ターン対話では、30分以内に同じモデルに固定することで、処理途中のモデル切り替えによる出力品質の低下やコンテキストの破損を防ぎます。
AES-256-GCM鍵暗号化アップストリームプロバイダのAPIキーはSQLiteで静的に暗号化され、リクエストが行われる前にメモリ上で一時的に復号化されます。使用後は破棄されるため、キー漏洩のリスクが低減されます。
統一認証トークンクライアントは単一の freellmapi-… ベアラートークンは、複数の上流サプライヤーの実際の鍵をコード内に公開する必要性をなくすことで、管理を簡素化します。
完全なストリーミングとツール呼び出しSSEストリーミング出力に対応しています（stream: true）とOpenAIスタイル tools / tool_choice 複数ラウンドにわたるツール呼び出しプロセス。

FreeLLMAPIプロジェクトのアドレス

GitHubリポジトリ：https://github.com/tashfeenahmed/freellmapi

FreeLLMAPIと類似製品との比較

比較対象寸法	FreeLLMAPI	LiteLLM	One API
プロジェクトの位置付け	オープンソースで無料のLLMクォータ集約プロキシ。個人のローカルでの実験と学習に重点を置いています。	開発者とエンタープライズレベルのAIゲートウェイの両方を対象とした、オープンソースのマルチモデル統合呼び出しSDKとプロキシゲートウェイ。	国内のチームや企業による鍵配布のための、オープンソースのAPI配布管理システム。
GitHub Stars	500+	41.8k+	31.3k+
テクノロジースタック	TypeScript / Express + React / Vite	Python（SDK + Proxy Server）	Go（完全なWeb管理バックエンド）
サポートプロバイダー	約14の無料プラットフォーム（Gemini、Groq、Cerebras、GitHub Models、Zhipuなど）	100以上の企業（OpenAI、Anthropic、Azure、Bedrock、Vertex AI、HuggingFaceなど）	国内モデル（文信、同義、iFlytek、芝浦、キミ、豆宝など）と主要な海外モデルを網羅的にカバー
無料クォータ集約	コア機能として、月間約13億トークンを発行しています。	無料割り当ての自動集約はサポートされていません。各ベンダーから独自のキーを用意する必要があります。	無料割り当ての自動集約はサポートされていません。各ベンダーから独自のキーを用意する必要があります。
OpenAI対応	標準 `/v1/chat/completions`	OpenAI形式に統一され、標準化されている。	OpenAI形式への統一変換
自動フェイルオーバー	最大20回の再試行、冷却機構	再試行、フォールバック、および負荷分散をサポートします。	ロードバランシングとフェイルオーバーをサポートします
スマートルーター	レート割り当てに基づいて、ヘルスキーを自動的に選択します。	最も混雑の少ない時間帯での完了や、最も費用対効果の高い完了など、複数の戦略をサポートします。	チャネルの優先度と重みによるルーティング
レート制限トラッキング	RPM/RPD/TPM/TPDのリアルタイム追跡	速度制限と予算管理機能が内蔵されています	QPS/IPレート制限とクォータ制御をサポート
重要なセキュリティ	AES-256-GCM静的暗号化＋統合トークン	環境変数や設定ファイルに依存します。オープンソース版には暗号化機能は組み込まれていません。	トークンの一元管理、キーローテーションをサポート
マルチテナント/ユーザー管理	シングルユーザーによるローカル操作	複数のチーム、複数のキー、および予算の分離をサポートします。	チャージ、利用制限、グループ管理などを含む、包括的なユーザーシステム。
コスト追跡	なし	プロジェクト/ユーザー単位でトークンの消費量を追跡する	チャネル課金統計と使用状況分析
ビジュアルインターフェース	Reactダッシュボード + プレイグラウンド	グラフィカルインターフェースなし（オープンソース版）、設定ファイルに依存する	中国語のウェブ管理インターフェース、ユーザーフレンドリーな操作性
ストリーミング／ツールコール	SSEと関数呼び出しを完全にサポート	全面的なサポート	サポート（新API拡張関数呼び出し）
展開の難しさ	極めて低い、`npm run dev` ワンクリックスタート	中級レベル。Python、Docker、Helmの知識が必要です。	低コスト、ワンクリックでDockerをデプロイ

FreeLLMAPIの応用シナリオ

個々の開発者向けのローカルでの実験とプロトタイプの検証このプロジェクトは、個人の学習とプロトタイピングを目的として特別に設計されており、複数の無料割り当てを単一のローカルOpenAIエンドポイントに統合することで、ユーザーが料金を支払うことなくAIアプリケーションのアイデアを迅速に検証できるようにします。
マルチプラットフォーム対応の無料通話容量集約と通話また、Gemini、Groq、Cerebras、GitHub Models、Zhipuなど約14のプラットフォームの無料プランと連携しており、月間合計約13億トークンを発行できるため、大規模な利用が必要だが予算が限られている個人プロジェクトに適しています。
低電力デバイス用永久剤アイドル時のRSSは約40MBと非常に小さいため、PM2/systemdを介してRaspberry PiなどのARMデバイス上で長時間稼働させることができ、ホームネットワークやエッジノード向けの軽量AIゲートウェイとして機能します。
OpenAI互換インターフェースの学習外部暴露基準 /v1/chat/completions エンドポイントは、OpenAI SDK、LangChain、LlamaIndexなどのエコシステムツールの学習やデバッグに適しており、わずかな変更を加えるだけで済みます。 base_url すぐに切り替えることができます。
複数のモデルを迅速に比較するテスト統一されたインターフェースとPlaygroundダッシュボードを通じて、同じ環境下で様々な無料プロバイダーの応答品質、遅延、出力スタイルを迅速に比較できます。

すべてのカテゴリ