Repository navigation
v1.3.0
新功能
- 評估 AI 選方法的準確度:
autoforge eval agent --brain <大腦>。13 個案例,每個是一句需求加一份當場產生的小資料,涵蓋表格、文字、圖片、物件偵測、時間序列、異常偵測、推薦、文字向量、LLM 微調和敏感資料。AI 要開始訓練時會被攔下並記錄計畫,不會真的訓練;結果分成 pass / partial / fail,報告存在~/.autoforge/evals/。
改進
- 資料分析:資料夾會列出最上層的檔案(例如
annotations.csv),JSONL 會列出欄位名稱和筆數(不含內容),讓 AI 分得出物件偵測資料、對話資料和配對資料。
安裝與試用
pip install -U autoforge-trainer
export ANTHROPIC_API_KEY=...
autoforge eval agent --brain anthropic:claude-opus-5-5 -c churn -c labelled-fraud # 先跑兩題
autoforge eval agent --brain anthropic:claude-opus-5-5 # 全部 13 題
完整變更紀錄:https://github.com/Honguan/autoforge/blob/main/CHANGELOG.md