本地AI自動解遊戲每日任務(視覺化)

本工具由Fable5規劃, 但由Opus4.8實作

實作上卡關兩次, 所以又回到plan兩次, 這是沒有review好plan的結果

直到第三次取得突破總算完成, 已開源但一直沒時間幫它寫說明

先上github連結:

https://github.com/touma-tw/VisionDailyQuest

有中文安裝與使用說明, 想知道詳細資訊可到github看

ptt這邊只做簡單介紹

設計理念是設計成通用性 可適用於多數桌面遊戲的工具,

並讓本地AI當眼睛與大腦, 幫忙解繁瑣的遊戲每日任務,

需要有邏輯判斷能力, 有視覺能力, 能自我修正

不會像舊時代按鍵精靈類的bot, 卡死在某個地方

但按鍵精靈其實是很好的參考, 所以這個repo直白來說

是內建了Opus設計的按鍵精靈, 但由本地AI幫你做截圖與維護腳本

即使遊戲UI改版, 它也會自動跟著修正截圖與腳本

實際執行時的後台長這樣:

它會看遊戲畫面來點滑鼠, 讀取體力數據以及計算自然恢復量,

然後依據設定自動把體力消耗掉, 也能把每日繁瑣的重複任務自動解掉,

要能辦到這些事就需要你的本地AI是有Vision能力的

任務可分開設計成例如A任務 B任務 C任務... K任務

可以指定目前只執行哪幾個任務, 也可以交由AI判斷目前應當執行哪些任務

通常我都是無腦點兩下, 讓AI自動開始從A串B..串C 直到全部任務解完

如何幫你的遊戲設定:

最簡單的方式就是將本 repo git clone 到你的本地端,

然後請大語言模型看一次, 接著告訴它 要改成在哪個遊戲中使用,

以及每天會做哪些任務, AI 就會自動幫你調整好。

根據你的顯存大小,還需要選擇使用哪個本地模型,

可以請 AI 推薦適合你硬體、且具備 vision 能力的模型,

有 thinking 能力的更好, 接下來做完基礎測試與驗證再正式依賴它

本工具設計是自我學習型的, 第一次執行時

由於每個步驟都需要做視覺辨識, 會覺得速度較慢

但每次正確的動作之後, 本地AI會幫你建立遊戲畫面快取

這樣下次就不用再重新辨識

隨著使用次數增加, 快取命中率會越來越高, 執行速度也會顯著提高

設計這個工具是為了幫我自己省下時間,

開源則是希望它也能幫大家省下時間,

使用上若有什麼問題或建議都可提出

--