Skip to content

weafon/esp32s3-watch-gemini-live-directconn

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

14 Commits
 
 
 
 
 
 

Repository files navigation

esp32s3-watch-gemini-live-directconn

這裡提供下載的韌體檔案 是專門build給Waveshare ESP32-S3-Touch-AMOLED-1.75 or ESP32-S3 2.06寸 AMOLED 用的韌體
The firmware file available for download here is specifically built for the Waveshare ESP32-S3-Touch-AMOLED-1.75 or ESP32-S3 2.06-inch AMOLED displays.
https://www.waveshare.net/shop/ESP32-S3-Touch-AMOLED-1.75.htm

https://www.waveshare.net/shop/ESP32-S3-Touch-AMOLED-2.06-EN.htm

qr-code
source code: https://shopee.tw/product/36762878/47205726916/

功能簡介

這韌體 提供 直接透過WiFi 連上Gemini Live 進行具有情緒感知的語音對話, 不需要中間架設伺服器轉接

This firmware allows for direct WiFi connection to Gemini Live for emotion-aware voice conversations without the need for an intermediary server.
image

底下是DEMO影片 (via facebook or youtube) https://www.facebook.com/share/v/1aFy7rsWeZ/ or https://youtube.com/shorts/7TGrHV79h8U?feature=share or https://portaly.cc/Timemate

AI外的實用功能:

  1. 提供載具條碼或會員QRCODE甚至於是 數位禮卷QRCODE顯示 方便平常購物掃描 (請在掃描的WEB網頁畫面點選 標籤與序號設定, 載具建議選code39編碼, 大全聯紙本會員固定卡號選 code128, 其他大部分都可以用QRCODE)
    image

  2. 及時新竹客運從台北新竹的車號, 以及站點追蹤 (如果你GEMINI AI設定成功, 這邊會同步發出聲音報告車況). 或 往台北在馬偕站上車的等待時間
    image
    image

  3. 基於個人五行, 所反映的當下時間的五行十神曆 . 以及當天及當月 由五行生剋所計算的分數 (需要在WEB畫面點選個人基本資料 輸入生日 及時間)
    image

  4. 天氣查詢 (需要填入TWMOE_API_KEY)
    image

  5. 隨著手錶角度 移動眼珠的無聊喵喵
    image

  6. (測試中, 下一版release) 手機如果有裝特定APP可以把訊息 整5分鐘倍數時 轉發到手錶. (手錶整5分鐘時 也會醒來啟動藍芽然後再休眠)

韌體燒錄

韌體燒錄的時候 還不需要先裝電池. 先用USB供電即可. 燒錄也是透過USB.

windows下的燒錄工具 可以從wareshare官方網址下載 : https://www.waveshare.net/wiki/Flash%E5%9B%BA%E4%BB%B6%E7%9A%84%E7%83%A7%E5%BD%95%E4%B8%8E%E6%93%A6%E9%99%A4
可以參考該網址說明文件操作, 然後要燒錄的韌體bin檔 就是與此說明文件同目錄的esp-watch-175 or esp-watch-200
esp-watch-175.bin (專門給Waveshare ESP32-S3-Touch-AMOLED-1.75用的喔)。
esp-watch-200.bin (專門給Waveshare ESP32-S3 2.06寸 AMOLED用的喔)。
建議燒錄前 esp設備上電前 按著boot鍵, 然後上電, 大致就可以放開. 這樣確保ESP設備進入 等待燒錄模式 (特別是第一次燒失敗或有其他CODE) 。 所謂boot鍵: 當sd卡槽在右邊時, 他下方的按鍵是boot鍵。ps. 速度是選1152000 有三個零喔,不是兩個零喔
真的開始燒了會看到底下畫面
image
燒完 會驗證 然後最後會出現:
image
燒錄完, 拔開USB重新上電即可.

開關機, 電源相關重要訊息

1.手錶在 有USB供電時, 如果熄滅 可以藉由碰觸螢幕喚醒
2. 單純電池供電時, 螢幕五秒會熄滅
3A. 使用鋰電池請多加小心. 本軟體不負鋰電池或設備使用造成損失的賠償責任 . 此設備由硬體電源管理晶片控制充電 . 在醒著或輕度睡眠下, UI電源控制畫面 可以選擇強制關閉充電或開啟充電. 在完全關機下 也可以充電, 但充電節奏完全由電源控制晶片控制
3B. 充電時可能會到40多度, 螢幕超過37度就會顯示紅色的字. 停止充電後, 如果溫度還高, 會自動重開機. 一兩次後溫度就會降回30度左右.
4. 充電允許開啟狀態下, 電源到70%下會啟動自動充電. 也可以按"!"強制啟動.
5. 充到100%, 電源晶片會自動停止充電. 但如果看到畫面顯示一下充一下不充, 請按強制關閉充電. 表示你電池已經老舊. 目前參數設定是預設的充到4.2V and 100mA電流以下, 電源晶片會停止充電.
6. 螢幕熄滅15秒後, 會lightsleep, 要藉由模擬手碗舉起扭轉晃動 喚醒
7. 每5分鐘手表會自動醒來與手機APP的藍芽同步 如果手錶APP有攔截到訊息 會從手機發送到手錶 (需安裝特定手機APP)
8. 如果擺著不動 超過45分鐘. 為了省電會自動關機.
9. 這時要輕按一下外殼右側 SD插槽 上方按鈕. 放開後會開機,不過螢幕大約三秒內才會亮起,
10. 同樣的按鍵 長按六秒 硬體電源管理晶片 會關機 (任何緊急情況 都可以使用)
11. 插著USB當時中用的時候, 到了晚上9:30~06:00 螢幕會熄滅, 但系統還開著 碰一下會亮起, 三四秒後會熄掉
12. 整點會發出咚一聲..

起始設定

系統一開始 為了要取得能連上Internet的 WiFi account/password , 會先開起一個名為WATCH的WIFI基地台.
image
請用手機選擇連上這個基地台後,

掃描手錶螢幕上的QRCODE開啟瀏覽器進行後續設定.
在手機瀏覽器上會看到底下畫面, 等他幾秒鐘下載完成, 太快點會沒反應

image
等他幾秒鐘下載完成, 點選WiFi存取點設定, 會看到底下畫面, 接著打入你的WiFi帳號密碼, 可以多組 然後按送出WiFi設定
image

成功後會得到提示, 但畫面依舊留在這頁.
image

另一方面, 手表會自動重開機, 並透過你提供的WIFI,連上internet ntp進行自動對時.
image

Gemini AI KEY取得與輸入

目前使用的Gemini Live 是免費的測試版本model: models/gemini-2.5-flash-native-audio-preview-12-2025
儘管免費, 為了進行Gemini Live, 你得在gemini studio申請一把key. https://aistudio.google.com/api-keys
手把手申請API教學文件可以參考: https://lifecheatslab.com/freegeminiapi/
為了安心你可以設定他所屬的project有預算限制, 例如設定一塊美金. 如果真的發生收費也不會超支。 事實上google提供每個新帳號300美金的有限時間試用 根本用不掉 就到期了.

anyway, 在你拿到key之後, 一樣透過手錶提供的網頁 輸入KEY。
請滑動你的手表 來找QRCODE. 手錶的UI展開是一個如下的圖案, 起始點是時間頁 範例時間是15:41 image

先從時間頁, 範例中時間是15:41 開始
image
把畫面往右方拖拉滑過去 會看到
image
ps. 你要是看到底下這個 就是你拖拉反了, 請反方向拖拉回去
image

在剛剛那個有太陽調亮度的畫面, 把畫面往下拖拉會看到
image
再把畫面往下拖拉 就會看到條碼
image

滑到QR code設定頁. 等他一下 他會自動開啟WIFI連線. 如畫面顯示, 這次他開的網址 IP是在你的WifiAP管轄下(e.g. 我的WIFIAP是Wfoff), 就不是手錶自己的AP了。 一般來說 你的手機 在手錶AP消失後, 會自動跳回你環境下本來的AP (也就是你剛給他的)。 確定你手機基地台(AP)選對了以後, 一樣透過掃描連上網站。

這次點選API KEYS設定 看到底下畫面. 先輸入GEMINI_API_KEY那把KEY, 輸入完記得按下儲存API KEY. 一樣會有彈出一個成功的提示, 畫面一樣會留在這邊不用管。
至於其他的可以先不用, 你想要再去申請.
openai的部分目前我關閉了沒支援.
TWMOE_API_KEY 是要連到中央氣象局用的 https://data.moenv.gov.tw/paradigm
TDX_CLIENT_ID 與 TDX_CLIENT_SECRET 是要連到 及時公路客運狀況的 https://tdx.transportdata.tw/
image

設定完 請反向 滑回時間頁 然後再把畫面往上托拉兩回. 第一回 會看到
image
第二回就會看到
image

按下CALL鍵 就會企圖連上Gemini Live (Wifi用完會30秒後為了省電會自動關閉, 所以如果WIFI斷線, 在這邊會預先花點時間連上WIFI)
畫面出現轉轉時 會暫時限制滑動 因為在連線網路 最好不要動它...
image

image
image
不講話44秒後會斷線. 自己按下HangUp也會掛上 (要是不幸當機 三秒後會自動重開.)

About

Firmware to directly call gemini live over WiFi under esp32s3 platform

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors