SignLLM ，世界上第一個(gè)通過文字描述生成手語視頻的多語言模型。模型可以將輸入的文本或提示轉(zhuǎn)化為相應(yīng)的手語手勢(shì)視頻。SignLLM可以生成包括美國(guó)手語（ASL）、德國(guó)手語（GSL）以及八種不同的手語。它還引入了額外的多語言手語數(shù)據(jù)集，名為Prompt2Sign，并基于此數(shù)據(jù)集開發(fā)了多種生成手語的模型。

Prompt2Sign 數(shù)據(jù)集的引入

為了確保手語視頻生成的準(zhǔn)確性和流暢性，SignLLM 引入了一個(gè)名為 Prompt2Sign 的多語言手語數(shù)據(jù)集。這個(gè)數(shù)據(jù)集包含了豐富的手語樣本，為模型的訓(xùn)練和優(yōu)化提供了堅(jiān)實(shí)的基礎(chǔ)。通過學(xué)習(xí)和分析這些數(shù)據(jù)，SignLLM 能夠生成更加自然和細(xì)膩的手語視頻。

SignLLM 的應(yīng)用

SignLLM 可以用在很多地方，以下是幾個(gè)主要的應(yīng)用場(chǎng)景：

教育：對(duì)于學(xué)習(xí)手語的人和老師來說，SignLLM 可以提供高質(zhì)量的手語教學(xué)視頻，幫助學(xué)習(xí)和教學(xué)。

醫(yī)療：在醫(yī)院，聽力障礙者經(jīng)常遇到溝通問題。SignLLM 可以幫助提供即時(shí)的手語翻譯服務(wù)，讓患者的就醫(yī)過程更順利。

法律：在法庭或法律咨詢中，準(zhǔn)確的手語翻譯非常重要。SignLLM 可以確保聽力障礙者在法律事務(wù)中有公平的溝通機(jī)會(huì)。

日常生活：在公共服務(wù)或客戶服務(wù)等日常場(chǎng)景中，SignLLM 可以提供即時(shí)的手語翻譯，方便手語使用者。

手語生成生成視頻的效果

生活中的另一種技巧是，你可以先把頭發(fā)編成辮子，然后開始纏繞，因?yàn)橛行┤说念^發(fā)真的很短，我們可以通過添加發(fā)尾來創(chuàng)造造型。（Another technique in your life is you can braid the hair on first and then start wrapping cause some people have really short hair and we can create the look with adding the hair end.）

所以我們現(xiàn)在正在加熱油。（ "So we are currently heating up the oil and at this point."）

首先，“按摩院”是一個(gè)非常過時(shí)的術(shù)語，并且常常帶有一些負(fù)面含義，作為按摩治療師，我們努力避免這種含義。（ "First of all Massage Parlor is a very dated term and often has some negative connotations that are associated with it and as a massage therapist we worked hard to kind of steer away from that."）

SignLLM 是手語生成領(lǐng)域的一個(gè)重要突破，未來SignLLM 有望支持更多種類的手語，隨著時(shí)間和技術(shù)的發(fā)展，翻譯效果也會(huì)越來越好。

SignLLM 的出現(xiàn)，不僅推動(dòng)了手語的普及，還為全球手語使用者帶來了很多便利。

參考內(nèi)容：

https://signllm.github.io/

https://arxiv.org/abs/2405.10718

▲ 滑動(dòng)查看往期內(nèi)容