モデル一覧に戻る
meta-llama logoMeta
llama-3.1-8b-instruct

Llama 3.1 8B Instruct

Metaの最新モデルクラス(Llama 3.1)は、様々なサイズとバリエーションで発表されました。この8Bのインストラクションチューニング版は高速で効率的です。以下と比較して強力なパフォーマンスを発揮しています...

2024/7/23
131,072 トークン
入力: ¥3.36/M
出力: ¥6.72/M

仕様

モダリティ

入力
text
出力
text

サポートされているパラメータ

frequency_penalty
logit_bias
logprobs
max_tokens
min_p
presence_penalty
repetition_penalty
response_format
seed
stop
structured_outputs
temperature
tool_choice
tools
top_k
top_logprobs
top_p

最大出力トークン

117,964

データの取り扱い

プロンプトの保持
不明 — 確認できていません
学習への利用
学習には利用されません

「不明」は「問題なし」ではありません。確認できていない、という意味です。

学習の可否は提供元との条件に基づく申告値です。保持の可否は、このモデルが到達しうる実行先すべてについて上流が公表する一覧から判定しています。いずれも推測は含みません。

実測パフォーマンス

応答開始 (p50)2.6s
生成速度 (p50)40 トークン/秒

    FastMetalのゲートウェイ経由で実測した値です(直近30日・応答開始658回)。

    生成速度は1日1回の計測で、直近30日・27回分の中央値です。

    応答開始は最初の応答が返るまで、生成速度は思考トークンを含む出力トークン数から算出しています。実測値であり、性能を保証するものではありません。

    コード例

    curl https://api.fastmetal.ai/v1/chat/completions \
      -H "Content-Type: application/json" \
      -H "Authorization: Bearer YOUR_API_KEY" \
      -d '{
        "model": "llama-3.1-8b-instruct",
        "messages": [{"role": "user", "content": "Hello!"}]
      }'

    Llama 3.1 8B Instructの実際の回答

    FastMetal上で実際に記録した、標準プロンプトへの回答です。

    このエラーをデバッグして

    以下のエラーがPythonアプリケーションで発生しています。原因を特定して修正してください。 Traceback (most recent call last): File "app.py", line 23, in get_user_orders total = sum(order["price"] * order["quantity"] for order in orders) TypeError: unsupport…

    問題は、`order["price"]` が文字列 (`str`) で、`order["quantity"]` が整数 (`int`) であることです。 これは、`orders` がリストではなく、文字列のリストであるためです。 `db.query()` の結果は文字列のリストであるため、各文字列をリストの要素として取得する必要があります。 修正は次のとおりです。 ```python def get_user_orders(user_id): orders = db.query("SELECT price, quantity FROM orders WHERE user_id = %s", user_id) orders = [order for order in orders] # リストの要素として取得する total = sum(float(order["price"]) * int(order["quantity"]) for order in orders) return {"user_id": user_id, "total": total, "orders": orders} ``` また、`float(order["price"])` と `int(order["quantity"])` を使用しているのは、`price` と `quantity` が文字列の場合、演算子 `*` の両側のオペランドが数値でないためです。
    応答時間 6.9秒出力 241 トークン

    コードレビュー

    以下のTypeScript関数をレビューして、可読性・パフォーマンス・ベストプラクティスの観点から改善点を提案してください。 async function fetchAllUsers(page: number = 1): Promise<any[]> { let allUsers: any[] = []; let hasMore = true; let currentPage = page; while (hasMo…

    以下の改善点を提案します。 ### 可読性 - **関数名**: `fetchAllUsers`は関数の目的をよく表していますが、`page`パラメータのデフォルト値は`1`に設定されているため、`page`パラメータは実際には`optional`なので、関数名を`fetchUsers`に変更してみましょう。 - **変数名**: `allUsers`、`hasMore`、`currentPage`の変数名はわかりやすいですが、`data`と`user`の変数名は少し短すぎます。`data`は`usersData`に、`user`は`userData`に変更してみましょう。 - **コーディングスタイル**: 1行のコードの数が多い場合、`for`ループ内に`if`ステートメントを追加する場合、または`while`ループ内に条件を追加する場合、改善するためにコードを整理する必要があります。 ### パフォーマンス - **HTTPリクエスト**: 1度に100個のユーザーを取得しますが、実際には何個のユーザーを取得する必要があるかを判断するためのロジックはありません。ユーザーが100個以上ある場合、`while`ループは無限に続き続きます。これは、パフォーマンスが低下する可能性があります。 - **パフォーマンスを改善するために、`fetch` APIの`keepalive`オプションを使用してください**。 ### ベストプラクティス - **関数内でロジックを整理するために、`for`ループを`map`関数に置き換えてください**。これにより、コードを簡略化し、…
    応答時間 43.6秒出力 783 トークン

    SQLクエリの最適化

    以下のSQLクエリは500万行のテーブルに対して実行すると30秒以上かかります。最適化してください。 SELECT p.product_name, c.category_name, COUNT(o.order_id) as order_count, SUM(o.amount) as total_sales, AVG(r.rating) as avg_rating FROM products p LEFT JOIN…

    このクエリは複雑で、さまざまなテーブル間のジョインを含んでいます。以下は改善点と最適化策です。 ### 1. インデックスの追加 現在、インデックスは `products(id)` と `orders(order_id)` しか存在しません。クエリは `categories(id)`、`order_details(product_id)`、`reviews(product_id)` にもアクセスします。したがって、インデックスを追加してクエリが実行速度を向上させることができます。 ```sql CREATE INDEX idx_categories_id ON categories(id); CREATE INDEX idx_order_details_product_id ON order_details(product_id); CREATE INDEX idx_reviews_product_id ON reviews(product_id); ``` ### 2. テーブル間のJOINの最適化 JOINは複雑で、JOINが繰り返されるとクエリの実行速度が下がります。クエリ内のJOINを最適化するには、必要なカラムをJOINする前にSELECTを使用します。 ```sql SELECT p.product_name, c.category_name, COUNT(o.order_id) as order_count, SUM(o.amount) as total_sales, AVG(r.rating) as avg_rating FROM…
    応答時間 38.0秒出力 1025 トークン

    他のモデルと並べて比較する →

    よくある質問

    Llama 3.1 8B InstructのAPI料金はいくらですか?
    FastMetalでは100万トークンあたり入力¥3.36・出力¥6.72(税別)の円建て従量課金です。前払いクレジットから使った分だけ差し引かれ、月額料金やサブスクリプションはありません。
    Llama 3.1 8B InstructはOpenAI SDKからそのまま使えますか?
    はい。base_url を https://api.fastmetal.ai/v1 に変更し、model に "llama-3.1-8b-instruct" を指定するだけで、既存のOpenAI向けコードから呼び出せます。ストリーミング、ツール呼び出し、構造化出力にも対応しています。
    Llama 3.1 8B Instructのコンテキスト長はどのくらいですか?
    131,072トークンです。プロンプトと回答を合わせてこの範囲に収める必要があります。
    Llama 3.1 8B Instructを試すには何が必要ですか?
    アカウントを作成してクレジットをチャージすると、ブラウザのチャット画面とAPIの両方から利用できます。契約や最低利用額はありません。

    Llama 3.1 8B Instructを今すぐ試す

    Llama 3.1 8B InstructはFastMetalのAPIキー1つで利用できます。ブラウザですぐに試す、またはOpenAI SDKからそのまま呼び出せます。