Modal Starter 免費 Compute Credits 怎麼用？Qwen Endpoint 學生 Agent 實作

Modal 可以成為學生 AI Agent 的第十七種燃料，但它提供的是 Starter plan 的免費 compute credits，不是一把可以直接呼叫所有聊天模型的免費 token。Modal 官方 Pricing 頁目前列出 $0 Starter、每月 $30 free compute credits、最多三個 workspace seats、100 個 containers 和 10 個 GPU concurrency。這些 credit 用來支付 CPU、記憶體、GPU、容器和端點執行，不會自動變成某個模型的固定 token 額度。

當日敲門模型：Qwen/Qwen3.5-4B（自部署候選）

以 2026 年 8 月 25 日的 Modal Endpoints 官方文件查核，第一個低成本自部署候選可先用 Qwen/Qwen3.5-4B：文件直接示範以這個模型建立 endpoint，並說明 Qwen、Kimi、Gemma4、DeepSeek、Nemotron、GPT-OSS 與 GLM 等家族可從 catalog 選擇。這不是 Modal 無限免費託管的聊天模型；它只是目前文件中的可部署敲門候選，實際模型、權重、硬體、license、可用性與 compute cost 要在自己的 workspace 重新讀回。

選它的理由是先用小型、公開權重路線學會 endpoint、OpenAI-compatible request、scale-to-zero 和 budget，而不是宣稱它是全市場唯一的「最好免費模型」。若當日 catalog 移除、模型需要更高 GPU、license 不適合課程或預估 cost 超過 reserve，就回到 CPU mock 或改用另一個已批准的開源候選；不自動切換到更昂貴的模型。

同一個 Pricing 頁面另外列出 startups 和 academics 的 credit grant。Graduate students、labs 和 researchers 可能申請最高 $10k free compute credits，但這是資格審查後的計畫，不是 Starter 每月 $30 的自動增加，也不是每位一般學生都能直接取得。文章把 grant、Starter credit、已購買 credit 和付費 usage 分開記錄；申請結果、有效期、可用產品和剩餘預算都要由帳戶持有人以官方頁面回讀。

如果學校或研究室要申請 grant，應由正式的研究負責人處理申請、付款方式、資料協議和成員權限。學生只使用被分配的 environment 或 gateway，不自行提交不實研究資料、不把 grant token 貼到公開 notebook，也不把學術補助當成可轉讓的免費資產。grant 被拒絕或到期時，系統回到 Starter 或 mock，不自動開啟付費。

這個差異決定了它在主要 Agent 裡的角色：Modal 適合讓學生部署小型開源模型、Whisper 或 OCR，建立自己的 inference endpoint，練習 batch、checkpoint、queue、autoscaling 和 OpenAI-compatible routing；它不適合被誤寫成「免費 GPT API」，也不適合沒有 billing guard 的無限背景服務。學生要同時管理模型權利、GPU 時間、儲存、容器生命週期、proxy token 和付費停止線。

Starter 免費額度的真正單位

Modal 的 $30 是按美元標示的 compute credit，不是每月免費輸入多少 token。CPU、記憶體、不同 GPU、Volume、region selection、non-preemptible execution 和 endpoint 可能有不同價格；同一個模型換硬體或改 autoscaling，就可能得到完全不同的消耗速度。學生不能把 $30 除以一個模型的 token 單價後，宣稱每人有固定可用 token。

Pricing 頁同時列出 Starter 的 workspace 和 concurrency 邊界。這些是平台容量邊界，不是「每個學生各有 10 張 GPU」的承諾；多位學生共用一個 workspace 時，所有工作會競爭同一個 credit、budget 和 concurrency。主要 Agent 應用課程帳本分配 task budget、學生 pseudonym、模型、GPU type、開始時間、結束時間和 estimate，並把 live usage 回讀交給管理者。

免費 credit 與付款方式分開

Modal 官方 Billing 文件目前明確寫出，使用 Modal 必須在帳戶保留 payment method；所有 workspace 會按月計費，credits 會先抵扣，但超出 credits 或特定門檻後可能在 billing cycle 內自動收費。Starter 的 $0 訂閱費不能被解讀成「不需要付款方式」或「絕不會產生帳單」。這是學生開始前必須由管理者確認的資格條件。

如果沒有得到明確的付款授權，主要 Agent 不應建立 Modal workspace、不應代替學生輸入卡片，也不應啟動 live GPU。文章只描述官方流程和本地 mock；真正使用時由帳戶持有人自行確認 billing、地區、稅務、學校政策和可接受的付款風險。免費 credit 用完時，路由回傳 billing_review_required，不自動加值、不自動提高 budget。

學術 grant 或 Starter credit 也不涵蓋所有外部成本。模型下載可能消耗網路與 storage，Volume 可能長期保留權重，region selection 可能增加倍率，非可搶占執行可能按更高價格計算；有些工作還需要人工維護 image、依賴和 checkpoint。學生要把 compute credit、storage、網路、維運時間和模型授權分成不同欄位，不能看到 credit balance 就宣稱整個研究完全免費。

每月 credit 也不是可以跨 workspace 或跨學生自由轉移的 token 池。課程若需要共用算力，先設一個由管理者擁有的 workspace，再以最小權限分配 environment、gateway 和任務 budget；不要讓每個學生各自建立公開 endpoint。當本月 credit、workspace budget 或 payment state 任何一項不明確，所有 live 工作先暫停，保留 mock 和人工排程。

這個分流讓免費算力可持續，也讓每次使用都有責任人與可回溯紀錄。

學生因此先學會預算與停止，再學會呼叫模型。

每次 live 執行都留下預算、版本、結果與清理證據。

沒有證據就回到本地 mock，不把免費額度當成保證。

這是可持續的學生燃料規則。

每次使用都必須可停止、可回讀、可追責。

並且先獲得明確的付款授權才可開始。

先設 workspace budget

Modal Budgets 文件說 Workspace budget 是當期 billing cycle 的總 usage cap，Environment budget 則是特定 environment 的 compute cap；兩者一起套用時，workspace 是外層硬上限。Budget 是使用量上限，credits 是抵扣用量的資源，兩者不能混成一個「免費餘額」欄位。Starter 目前主要依 workspace 層管理，學生不應自行更改管理者設定。

一個安全的課堂配置是由 owner 或 manager 設定低於可承受帳單的 workspace budget，再在 Agent 內設定更低的每日 task budget、單一任務最長秒數、max containers、GPU concurrency 和 retry 次數。Budget hit、credit depleted、payment error、quota error 和 provider unavailable 必須分開顯示。任何「看起來只是一次失敗」的 GPU 工作，都要先查 billing report，才可以決定是否重送。

Modal token 不是免費 credit

Modal 的 proxy token 是 endpoint、Server 或 Web Function 的認證材料，不是 credit、token quota 或模型使用量。官方文件說 proxy token 由 Token ID 和 Token Secret 組成，secret 只在建立時顯示且之後不能取回；在 RBAC workspace 中還要把 token 明確綁到 Environment。學生只應使用自己建立且有明確 scope 的 token，絕不能把管理者 token 貼到課堂聊天室或前端。

Modal endpoint 預設要求認證；雖然可以用 --unauthenticated 開公開 endpoint，主要 Agent 不應以此作為學生入口。公開 URL 會讓任何人消耗你的 GPU 和 credits，也會使資料分類、濫用和停止變得困難。正確做法是 server-side gateway 保存 proxy token，學生只得到有限的 task API，gateway 再按 allowlist 呼叫 Modal endpoint。

OpenAI 相容 endpoint 的用法

Modal Endpoints 文件目前說，啟動的 endpoint 可在 endpoint URL 的 /v1 路徑提供 OpenAI Chat Completions API；呼叫時要送出 proxy token，model 欄位使用 base model repo ID 或指定的模型 ID。這讓學生可以把已經理解的 client interface 接到自有開源模型，但要記住這是自己負責部署的 inference service，不是 Modal 免費提供的託管聊天模型。

const endpointUrl = process.env.MODAL_ENDPOINT_URL;
const tokenId = process.env.MODAL_PROXY_TOKEN_ID;
const tokenSecret = process.env.MODAL_PROXY_TOKEN_SECRET;
const model = process.env.MODAL_MODEL_ID || 'Qwen/Qwen3.5-4B';

if (!endpointUrl || !tokenId || !tokenSecret || !model) {
  throw new Error('Set Modal endpoint variables on the server');
}

const response = await fetch(`${endpointUrl}/v1/chat/completions`, {
  method: 'POST',
  headers: {
    Authorization: `Bearer ${tokenId}.${tokenSecret}`,
    'Content-Type': 'application/json'
  },
  body: JSON.stringify({
    model,
    messages: [
      { role: 'user', content: '只使用已批准的公開教材，產生可人工核對的短摘要。' }
    ],
    max_tokens: 160,
    temperature: 0.2
  })
});

if (!response.ok) throw new Error(`Modal inference failed: ${response.status}`);
const result = await response.json();
console.log(result.choices?.[0]?.message?.content ?? result);

範例只使用環境變數，不包含真實的 Token ID、Secret、endpoint URL 或 credential；Qwen/Qwen3.5-4B 只是當日文件候選，可由 MODAL_MODEL_ID 覆寫。max_tokens 是模型請求參數，不是 Modal 的免費額度；實際消耗仍受 GPU、CPU、容器時間和模型實作影響。若 endpoint 被停止、模型尚未 ready、請求進入 503 或 billing 被暫停，gateway 要回傳清楚的 provider 狀態，不要用另一把 token 偷換身份。

Endpoint 的啟動與停止

Endpoint 會啟動容器、載入模型並依 autoscaling 設定處理請求。官方說 endpoint 預設可 scale to zero，閒置時不計 compute，但正在執行的容器會按標準 CPU／GPU 價格計費。學生若在課後忘記停止 endpoint，仍可能消耗 credit；課堂流程要有開始、使用、驗收、停止和 usage read-back 五個明確事件。

官方 Endpoints 文件提供列出 endpoint 狀態和停止 endpoint 的 CLI 流程；停止會拆除 serving containers 並停止 billing。這是管理者的外部狀態操作，不能由沒有 scope 的學生任意執行。主要 Agent 可以提出 stop_requested，由受控 worker 或 owner 執行，完成後再讀回 endpoint state 和帳本確認沒有殘留工作。

官方頁面目前另載明，2026 年 9 月 1 日起 credits 不再用於 Shared Endpoint usage；這是接近目前查核日的政策變更。文章不把現有 credit 能支付 Shared Endpoint 寫成長期保證，正式啟動前必須重新讀取 endpoint pricing、spend limit 和 workspace billing。對持續的學生燃料，優先採用可明確停止的短任務和本地 mock。

Functions、Servers 與 Endpoints

Modal 不只一種執行抽象。Functions 適合按輸入執行 Python 任務，Servers 適合容器內的 HTTP process，Endpoints 提供較標準化的模型服務整合。它們的排隊、autoscaling、輸入輸出保存、認證和錯誤行為不完全相同。學生 Agent 的 provider manifest 必須記下 surface type，不能用 Functions 的 retry 或 retention 假設套在 Server 或 Endpoint。

官方 Servers 文件說，Server 零到一個容器時，第一個 request 可能觸發 cold start；沒有 active container 時請求可能直接收到 503，client 必須處理。Server 也不會替應用程式自動完成所有 retry 和 timeout。這表示主要 Agent 要自己設定有限 deadline、退避、冪等 request id 和人工接手，不把 503 當成可以無限送出的免費訊號。

小模型與自有權重

Modal 的免費 compute credit 最適合搭配小型開源模型和短任務。學生可以先用 CPU 做 tokenizer、資料清理、OCR 前處理或 mock；需要 GPU 時選擇小模型、短 context、有限 batch 和可 checkpoint 的工作。不要因為有 $30 credit，就下載大型權重、開啟高 concurrency 或留下常駐 GPU。先用本地 benchmark 估計每一個輸入的 compute 秒數，再決定是否值得 live。

若使用 Hugging Face gated repo、社群 checkpoint 或自有 fine-tune，模型的 license、access permission、download token 和 redistribution 條件要逐一查核。Modal 只提供執行環境，不會替學生取得模型授權，也不會把 gated model 變成合法公開素材。管理者可用 Modal Secret 注入必要 credential，但只把最小 scope 傳給容器，執行完清理不需要的 secret 和 cache。

Secrets 與學生資料

Modal Secrets 文件提供 dashboard、CLI 和 Python API 管理秘密，並可在 Function container 內以 environment variables 使用。這比把 key 寫在 image、source code 或 prompt 安全，但 Secret 仍是敏感材料，學生不應讀出、列印或放入 output。主要 Agent 的預設資料分類仍是公開、去識別化或 synthetic；Secret 只解決認證保存，不會替資料政策背書。

Modal Security and privacy 文件目前說，官方不會存取 Functions 的 inputs／outputs 或 Volumes 內容，但 app logs 和 metadata 會保存；不同產品有不同 retention，Function inputs／outputs 最多七天，Starter logs 目前列一天，Volumes 會持續到使用者刪除。Inference endpoints 則列為 zero data retention。學生仍應在本地設定 delete、backup 和 access review，不把 provider 的 retention 表當成永久資料清理方案。

Volume 與模型 cache

模型權重通常需要 cache，Volume 可以減少每次 cold start 重新下載，但 Volume 是持久資料，會繼續佔用空間並可能產生費用。課程每個環境要有 volume owner、容量上限、模型清單、最後讀取時間和刪除日期。不要把學生上傳的原始資料和模型 cache 混在同一個 volume，也不要以刪除 endpoint 代替刪除 volume。

如果使用公開權重，先驗證 checksum、license 和版本；如果使用 gated 權重，將 Hugging Face token 放在 Secret，而不是寫入 image layer 或 volume 的公開 metadata。當學期結束，先停止 endpoint，再刪除不需要的容器 image、volume、logs 和 secret，並在 workspace usage 回讀後完成清理記錄。

資源上限防止 Agent 失控

Modal Sandbox 文件特別指出，可以為 CPU 和 memory 設定 request 與 limit，防止由 AI Agent 控制的 sandbox 因錯誤或惡意 workload 消耗無界資源。這是學生 Agent 很重要的設計：每個 task 要有 CPU、memory、GPU、執行秒數、輸出大小、concurrency 和 retry 上限。免費 credit 是最後的財務護欄，不應成為第一層安全控制。

function admitModalTask(task, live) {
  if (!['public_inference', 'synthetic_ocr', 'student_mock'].includes(task.kind)) {
    return { ok: false, reason: 'data_policy' };
  }
  if (task.maxSeconds > 120 || task.maxRetries > 1) {
    return { ok: false, reason: 'resource_budget' };
  }
  if (!live.endpointReady || live.billingState !== 'credit_available') {
    return { ok: false, reason: 'provider_or_billing' };
  }
  if (live.runningTasks >= live.maxConcurrentTasks) {
    return { ok: false, reason: 'concurrency' };
  }
  return { ok: true, deadlineMs: Math.min(task.deadlineMs, 120000) };
}

const decision = admitModalTask(studentTask, modalState);
console.log(decision.ok ? 'ready_to_submit' : `fallback:${decision.reason}`);

這段 gate 將資料分類、資源預算、billing 狀態、endpoint ready 和 concurrency 放在提交前。modalState 必須由受控的 dashboard／billing／endpoint read-back 組合而成，不能讓學生輸入一個永遠為真的 credit_available。真正部署時還要加入 workspace budget、model allowlist、volume policy、request id、usage snapshot 和 stop request 的 audit。

Preemption、retry 與 checkpoint

Modal 官方說 Functions 預設可能被 preempt，事件發生時會終止並以相同 input 重新啟動；GPU 工作和長任務尤其要能容忍中斷。學生應把長工作拆成小任務，定期 checkpoint，讓每個步驟可以安全重跑。retry 不是免費的，也不是只要把 attempts 設成很大就能提升可靠性；每次 retry 都可能重新消耗 GPU 時間和 credit。

主要 Agent 的 task id 和 input hash 要能做冪等，checkpoint 寫入前先檢查版本，避免同一筆資料被重複發布。遇到 OOM、503、preemption、model load failure、billing error 和 permission error，要分開記錄。若 retry budget 用完，回傳 provider_unavailable 或 human_review_required，回到本地 mock，不切換到未批准 token。

OpenAI-compatible 不是能力保證

Endpoint 的 OpenAI-compatible 路由只表示 client interface 相容，不表示模型支援所有 OpenAI 參數、tool calling、structured output、streaming 或相同的安全行為。學生要以實際 base model manifest 和 endpoint schema 為準，逐項測試 model、messages、max tokens、stream、error response 和 timeout。未驗證的能力標成 unsupported，不要由 SDK 沒有報錯就推論已完整支援。

若主要 Agent 使用 Responses 或 Chat Completions adapter，仍要保留 Modal-specific 的 endpoint URL、proxy token、workspace、environment、model、GPU 和 billing metadata。當 endpoint 停止、region 改變、model revision 更新或 credit policy 改變，adapter manifest 必須失效並要求重新查核。這能避免「相同 API 格式」掩蓋不同的成本與資料邊界。

觀測與成本帳本

Modal 的學生燃料帳本至少要保存 workspace、environment、app、endpoint、model、GPU type、input hash、task kind、開始與結束時間、container count、retry count、credit snapshot、usage estimate、billing status 和 cleanup status。不要把 proxy token、模型 gated token、原始輸入或完整輸出放入公開 log。管理者要能把課程 task 和 Modal billing report 對上，而不是只看應用程式回傳成功。

先以 p50、p90 或 p95 的實際 compute time 估算每類任務，再調整模型與 batch；不要以單次最快結果預估整月 $30 可以跑多少。遇到 credit 下降速度異常、容器數增加、volume 持續長大、endpoint 沒有 scale to zero 或 billing report 延遲，先停止新工作並人工檢查。帳本的目的不是鼓勵花完免費額度，而是讓學生知道每一個 inference 的真實資源代價。

錯誤與付款停止分流

401 通常先查 proxy token、Environment scope 和 endpoint authentication；403 查 RBAC、workspace 或資料權限；404 查 endpoint、model 或 version；429／503 查 concurrency、cold start、server capacity 和有限退避；OOM 查 resource limit 和模型大小；billing error、credit depleted 或 payment required 則直接停止。不要把所有錯誤都包成「免費額度不足」，也不要用新的 token 略過權限檢查。

async function callModal(makeRequest, maxRetries = 1) {
  for (let attempt = 0; attempt <= maxRetries; attempt += 1) {
    const response = await makeRequest();
    if (response.ok) return response;

    if ([400, 401, 402, 403, 404, 413, 422].includes(response.status)) {
      throw new Error(`Stop and review Modal status ${response.status}`);
    }
    if (![429, 503].includes(response.status) || attempt === maxRetries) {
      return response;
    }
    await new Promise((resolve) => setTimeout(resolve, 1500 * (attempt + 1)));
  }
  throw new Error('Modal retry budget exhausted');
}

const response = await callModal(() => fetch(process.env.MODAL_ENDPOINT_URL, {
  headers: {
    Authorization: `Bearer ${process.env.MODAL_PROXY_TOKEN}`
  }
}));
console.log({ ok: response.ok, status: response.status });

範例只對 429 和 503 做一次有限 retry；真實 adapter 還要讀 response body、Retry-After、endpoint state、workspace budget 和 credit snapshot。402、billing required 或 budget hit 都交人工，不自動付費。若請求已送出但回應遺失，先用 request id 或應用程式 idempotency 查詢結果，不要盲目再建立一次可能消耗 GPU 的工作。

學生的三個安全實驗

第一個實驗是 CPU-only job：用合成文件做分段、tokenize、OCR fixture 或小型 embedding 前處理，觀察 resource request、container lifecycle、logs 和 billing report。第二個實驗是短 GPU inference：選已批准的小模型，限制單一輸入、短輸出、最長秒數和一個 retry，觀察 cold start、preemption、checkpoint 和停止。第三個實驗是 OpenAI-compatible endpoint：只送公開教材，驗證 model、messages、401、503、timeout 和人工 fallback。

每個實驗先在本地 fixture 完成，再由管理者決定是否做一次 live smoke。完成後停止 endpoint、清除測試 volume 和不需要的 secret，讀回使用量和 credit。沒有 payment approval、沒有 model license、沒有資料分類結果或沒有可用的 budget，就只做 mock，不把學生的帳戶當成測試燃料。

與免費 API token 的搭配

Modal 的 proxy token 可以讓主要 Agent 呼叫自有 endpoint，但它不會替其他供應商產生免費 token，也不能把 Modal $30 credit 和 Gemini、Groq、OpenRouter 或其他 provider 的額度合併。比較正確的架構是：外層 Agent 使用已批准的 provider adapter，Modal 作為 self-hosted compute 節點；每個節點各自保存 token、模型、資料政策、預算和停止證據。

如果主要 Agent 只需要短暫文字回答，已核准的免費 hosted API 通常比部署模型更簡單；如果學生要學模型部署、GPU、RAG、OCR、batch 或自有權重，Modal 才有額外價值。選擇 Modal 前先問任務是否真的需要自有 runtime；若不需要，就不要為了「有一把 token」引入付款方式、容器和 volume 的運維風險。

不用 live account 的 mock 流程

沒有授權 Modal workspace 時，學生仍可 mock endpoint discovery、401、403、503、credit available、budget hit、endpoint stop、model response、preemption 和 retry。mock response 要包含 workspace、environment、model、resource、status 和 usage 欄位，讓 adapter 測試真正覆蓋成本與安全分流；fixture 必須標成 mock，不能把假 credit 或假 endpoint 當成官方 live 證據。

真正 live smoke 只由持有人在自己的 Modal workspace 執行，輸入使用合成資料，先設 budget 和最短可用資源，完成後停止。Codex 不登入、不建立 workspace、不輸入 payment method、不建立 proxy token、不讀取 dashboard secret，也不取得或分享其他 provider key。這樣文章可以教會學生完整流程，又不會把教學變成 credential 收集器。

官方查核入口

先閱讀 Modal Pricing，確認 Starter $0、每月 free compute credits、container、seat 和 GPU concurrency；再閱讀 官方 Billing，確認 payment method、月結、自動收費與 credits 抵扣。費用護欄看 Budgets，不能只依賴自己的心算。

Endpoint、OpenAI-compatible 路由、停止和即將到來的 Shared Endpoint credit 政策看 Endpoints 文件 與 Endpoint integrations；proxy token scope 看 Proxy Tokens；secret 保存看 Secrets；資料與 retention 看 Security and privacy。模型權重的 license 則回到每個模型的原始來源逐項確認。

主要 Agent 的接線方式

在主要 Agent 中，Modal 應註冊為 self_hosted_compute_with_free_credits provider，能力宣告包括 endpoint、OpenAI-compatible、variable_latency、preemption、billing_required、resource_limits 和 explicit_stop。router 先確認 workspace budget、credit snapshot、endpoint ready、model license、資料分類與 task budget，再提交工作。結果只進入 draft review，不能直接發布或觸發外部工具。

如果要讓學生閱讀更多 Agent 邊界，可參考 YOLO LAB AI Agent FAQ，但站內說明不能取代 Modal 的 pricing、billing、security 或 model license。這篇文章的核心不是宣稱「Modal 有免費 token」，而是教學生把免費 compute、proxy token、模型 usage、workspace budget 和付費風險分開管理。

本篇的批准結論

Modal 通過本系列的窄範圍介紹：可作為學生部署小型開源模型、OCR、Whisper、batch 和自有 inference endpoint 的免費 compute 起點；Starter 目前列每月 $30 free compute credits，但需 payment method，超額可能收費，且不等於固定免費 token。正式使用前必須設 workspace budget、資源上限、proxy token scope、資料分類、模型 license、停止流程和 usage read-back。

本篇草稿未建立或分享任何真實 proxy token，也未建立 workspace、啟用付款或做 live smoke。下一篇候選仍要從官方文件重新捕獲；若找不到合法免費條件、清楚停止線和可驗證 API 生命週期，就維持排除。完成一篇後開始下一篇，但免費算力永遠不能凌駕於安全、付款授權和資料責任之上。