劃重點(diǎn):
1. ?? 健康領(lǐng)域迎來革命性變革:可穿戴傳感器技術(shù)不斷監(jiān)測生理數(shù)據(jù),與大語言模型(LLMs)交叉,挑戰(zhàn)在健康預(yù)測中的傳統(tǒng)能力。
2. ?? MIT和Google研究引入Health-LLM框架,通過可穿戴傳感器數(shù)據(jù)調(diào)整LLMs,評估了包括GPT-3.5和GPT-4在內(nèi)的八種LLMs在健康預(yù)測任務(wù)中的表現(xiàn)。
3. ?? 研究發(fā)現(xiàn),Health-Alpaca模型在五個(gè)健康預(yù)測任務(wù)中表現(xiàn)出色,突顯了上下文信息在優(yōu)化LLMs健康預(yù)測性能中的重要作用。
站長之家(ChinaZ.com)1月24日 消息:近日,MIT和Google的研究人員共同提出了一種名為Health-LLM的新型人工智能框架,旨在將大語言模型(LLMs)應(yīng)用于健康預(yù)測任務(wù),利用可穿戴傳感器的數(shù)據(jù)。該框架的提出標(biāo)志著健康領(lǐng)域在可穿戴技術(shù)和人工智能的交叉點(diǎn)上取得了重大突破。
可穿戴傳感器技術(shù)的出現(xiàn)使得生理數(shù)據(jù)的連續(xù)監(jiān)測成為可能,包括心率變異性、睡眠模式和體育活動等。然而,這種非語言的、多模態(tài)的時(shí)間序列數(shù)據(jù)如何有效地用于健康預(yù)測,成為一個(gè)需要超越傳統(tǒng)LLMs能力的挑戰(zhàn)。
研究的重點(diǎn)是通過調(diào)整LLMs以解釋和利用可穿戴傳感器數(shù)據(jù)進(jìn)行健康預(yù)測。這些數(shù)據(jù)的高維度和連續(xù)性要求LLMs能夠理解個(gè)體數(shù)據(jù)點(diǎn)及其隨時(shí)間動態(tài)關(guān)系的能力。相比之下,傳統(tǒng)的健康預(yù)測方法主要涉及Support Vector Machines或Random Forests等模型,而最近出現(xiàn)的先進(jìn)LLMs,如GPT-3.5和GPT-4,引起了在這一領(lǐng)域探索它們潛力的關(guān)注。
研究涵蓋了八種最先進(jìn)的LLMs的綜合評估,包括GPT-3.5和GPT-4等知名模型。研究人員精心選擇了五個(gè)領(lǐng)域的13個(gè)健康預(yù)測任務(wù):心理健康、活動跟蹤、代謝、睡眠和心臟病。這些任務(wù)旨在覆蓋健康相關(guān)挑戰(zhàn)的廣泛范圍,并測試模型在不同場景中的能力。
研究采用了嚴(yán)格而創(chuàng)新的方法,包括零-shot提示、少量提示增強(qiáng)鏈?zhǔn)剿季S和自一致技術(shù)、指導(dǎo)微調(diào)以及零-shot環(huán)境中重點(diǎn)關(guān)注上下文增強(qiáng)的剔除研究。零-shot提示測試了模型在無特定任務(wù)訓(xùn)練的情況下的內(nèi)在能力,而少量提示利用有限的示例促進(jìn)上下文學(xué)習(xí)。鏈?zhǔn)剿季S和自一致技術(shù)被整合以增強(qiáng)模型的理解和連貫性。指導(dǎo)微調(diào)進(jìn)一步調(diào)整模型以適應(yīng)特定健康預(yù)測任務(wù)的細(xì)微差異。
研究中,Health-Alpaca模型,Alpaca模型的經(jīng)過微調(diào)的版本,在13項(xiàng)任務(wù)中表現(xiàn)出色,成為五項(xiàng)任務(wù)中取得最佳結(jié)果的模型。這一成就尤為引人注目,考慮到Health-Alpaca模型相較于GPT-3.5和GPT-4等較大模型的規(guī)模要小得多。研究的剔除研究部分揭示,包括用戶資料、健康知識和時(shí)間背景在內(nèi)的上下文增強(qiáng)可以使性能提高高達(dá)23.8%。這一發(fā)現(xiàn)突顯了上下文信息在優(yōu)化LLMs健康預(yù)測性能中的重要作用。
這項(xiàng)研究在將LLMs與可穿戴傳感器數(shù)據(jù)整合進(jìn)行健康預(yù)測方面取得了重要進(jìn)展。研究證明了這一方法的可行性,并強(qiáng)調(diào)了上下文在增強(qiáng)模型性能方面的重要性。特別是,Health-Alpaca模型的成功表明,規(guī)模較小、更高效的模型在健康預(yù)測任務(wù)中同樣,如果不是更加,有效。這為以更加可訪問和可擴(kuò)展的方式應(yīng)用先進(jìn)的醫(yī)療保健分析打開了新的可能性,從而為個(gè)性化醫(yī)療的更廣泛目標(biāo)做出了貢獻(xiàn)。
論文網(wǎng)址:https://arxiv.org/abs/2401.06866
(舉報(bào))