加拿大卡爾加里大學的研究人員開發了一款名爲“Augmented Physics”的全新工具，旨在將靜態的物理課本圖表轉化爲交互式模擬，爲物理教育帶來革新。

該工具利用先進的計算機視覺技術，如 Segment Anything 和多模態大型語言模型，讓教師和學生能夠半自動地從課本頁面中提取圖表，並根據提取的內容生成交互式模擬。

“Augmented Physics”支持多種類型的模擬，涵蓋牛頓運動、光學、電路和循環動畫等。 用戶可以通過簡單的創作過程選擇圖表中的特定對象進行分割，操作這些分割後的對象，並調整參數值，從而與模擬結果進行動態交互。

這些交互式視覺輸出無縫地疊加在教科書 PDF 上，通過基於 Web 的界面呈現，讓學生能夠在不搜索外部資料或從頭開始創建模擬的情況下，直接在教科書上進行學習、實驗和探索。

研究人員與七位物理教師進行了一項啓發式研究，探索了四種關鍵的增強策略:增強實驗、動畫圖表、雙向綁定和參數可視化。

“Augmented Physics”允許用戶直接操作教科書圖表，例如改變光學圖表中物體的位置或電路圖中的電阻值，並觀察實時變化。 

此外，該工具還可以將靜態圖表轉換爲循環動態動畫，展示物理過程隨時間的變化。

“Augmented Physics”還能夠將文本中的參數值與模擬進行雙向綁定， 例如將文本中的數值綁定到彈簧的壓縮屬性，從而使系統能夠根據更新的數值模擬場景。

此外，該工具還可以將模擬中的參數值可視化，例如通過動態圖表展示鐘擺角度隨時間的變化。

研究人員通過技術評估、可用性研究（12名參與者）和專家訪談(12名物理教師)對該系統進行了評估。結果表明，該系統可以促進更具吸引力和個性化的物理學習體驗。

 專家們認爲，該系統是對現有學習材料（如視頻和在線模擬器）的補充，而非替代。雖然現有材料可能更適合於準備好的主題，但該工具爲教育工作者提供了一種創建按需和個性化學習材料的方法，以適應特定情境，這是現有實踐所不能很好支持的。

未來，研究人員計劃將該系統擴展到更廣泛的物理領域，研究其在課堂應用的潛力，並探索混合現實模式以增強物理教育體驗。

論文地址：https://arxiv.org/pdf/2405.18614