ViTPose是一個開源的動作預估模型，它特別擅長識別人體姿態，就像能看懂你在做什麼動作一樣。 這個模型最厲害的地方在於它的簡潔和高效，它沒有采用複雜的網絡結構，而是直接使用了一種叫做視覺Transformer的技術。

image.png

ViTPose 的核心是使用純粹的視覺Transformer，這就像一個強大的“骨架”，可以提取圖像中的關鍵特徵。 它不像其他模型那樣需要複雜的卷積神經網絡（CNN）來輔助。 它的結構非常簡單，就是把多個Transformer層疊在一起。

ViTPose 模型可以根據需要調整大小。 就像一個可以伸縮的尺子，你可以通過增減Transformer層的數量來控制模型的大小，從而在性能和速度之間找到平衡。 你還可以調整輸入圖片的分辨率，模型都能適應。 此外，它還可以同時處理多個數據集，也就是說，你可以用它來識別不同姿勢的數據。 

儘管結構簡單，ViTPose在人體姿態估計方面表現非常出色。 它在MS COCO這個著名的數據集上取得了非常好的成績，甚至超過了許多更復雜的模型。 這表明，簡單的模型也可以非常強大。ViTPose 還有一個特點就是可以把“知識”從大的模型轉移到小的模型上。 這就像一個經驗豐富的老師可以把知識傳授給學生，讓小模型也能擁有大模型的實力。

ViTPose 的代碼和模型都是開源的，這意味着任何人都可以免費使用它，並在此基礎上進行研究和開發。

ViTPose就像一個簡單卻強大的工具，它可以幫助計算機理解人類的動作。 它的優點在於簡單、靈活、高效和易於學習。 這使得它成爲人體姿態估計領域的一個非常有前途的基線模型。

該模型使用Transformer層處理圖像數據，並使用輕量級的解碼器來預測關鍵點。 解碼器可以使用簡單的反捲積層或雙線性插值來上採樣特徵圖。 ViTPose 不僅在標準數據集上表現良好，而且在處理遮擋和不同姿勢的情況下也表現出色。 它可以應用於人體姿態估計，動物姿態估計，以及面部關鍵點檢測等多種任務。

demo:https://huggingface.co/spaces/hysts/ViTPose-transformers

模型:https://huggingface.co/collections/usyd-community/vitpose-677fcfd0a0b2b5c8f79c4335