預(yù)訓(xùn)練數(shù)據(jù)大揭秘3000億時(shí)間點(diǎn)如何塑造Kairos-50M的泛化能力【免費(fèi)下載鏈接】Kairos_50m項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/mldi-lab/Kairos_50mKairos-50M是一款擁有5000萬參數(shù)的時(shí)間序列基礎(chǔ)模型專為跨領(lǐng)域零樣本預(yù)測設(shè)計(jì)。它采用動(dòng)態(tài)補(bǔ)丁 tokenizer、混合大小編碼和動(dòng)態(tài)旋轉(zhuǎn)位置嵌入DRoPE能夠處理具有不同信息密度的異構(gòu)時(shí)間序列數(shù)據(jù)。本文將深入探討其背后3000億時(shí)間點(diǎn)的預(yù)訓(xùn)練數(shù)據(jù)如何塑造了模型強(qiáng)大的泛化能力。3000億時(shí)間點(diǎn)的訓(xùn)練數(shù)據(jù)PreSTS 語料庫的獨(dú)特價(jià)值Kairos-50M 的訓(xùn)練數(shù)據(jù)來源于 PreSTS 語料庫包含超過 3000 億個(gè)時(shí)間點(diǎn)。如此龐大的數(shù)據(jù)量為模型提供了豐富的時(shí)間序列模式和特征使其能夠?qū)W習(xí)到不同領(lǐng)域、不同場景下的時(shí)間序列規(guī)律。這些數(shù)據(jù)涵蓋了多種類型的時(shí)間序列如金融數(shù)據(jù)、氣象數(shù)據(jù)、工業(yè)傳感器數(shù)據(jù)等。不同類型的數(shù)據(jù)具有不同的特點(diǎn)和規(guī)律模型在學(xué)習(xí)過程中能夠捕捉到這些差異并形成對(duì)時(shí)間序列的全面理解。模型架構(gòu)如何充分利用海量數(shù)據(jù)Kairos-50M 采用了基于 Transformer 的架構(gòu)并融入了多種自適應(yīng)組件以充分利用海量的預(yù)訓(xùn)練數(shù)據(jù)?；旌洗笮【幋a器適應(yīng)不同信息密度混合大小編碼器能夠根據(jù)局部信息密度自適應(yīng)地選擇 tokenization 粒度。在信息密度高的區(qū)域采用較小的粒度進(jìn)行編碼以捕捉更多的細(xì)節(jié)信息在信息密度低的區(qū)域采用較大的粒度提高編碼效率。這種自適應(yīng)的編碼方式使得模型能夠更好地處理不同類型的時(shí)間序列數(shù)據(jù)充分利用預(yù)訓(xùn)練數(shù)據(jù)中的信息。動(dòng)態(tài)旋轉(zhuǎn)位置嵌入DRoPE優(yōu)化位置信息表示動(dòng)態(tài)旋轉(zhuǎn)位置嵌入DRoPE能夠根據(jù)實(shí)例級(jí)譜特征和動(dòng)態(tài)補(bǔ)丁 tokenization 定制位置編碼。這使得模型在處理不同長度、不同采樣頻率的時(shí)間序列時(shí)能夠準(zhǔn)確地表示位置信息從而更好地捕捉時(shí)間序列的時(shí)序關(guān)系。零樣本預(yù)測能力的實(shí)現(xiàn)從數(shù)據(jù)到泛化Kairos-50M 在 PreSTS 語料庫上的訓(xùn)練使其具備了強(qiáng)大的零樣本預(yù)測能力。模型通過學(xué)習(xí)海量數(shù)據(jù)中的時(shí)間序列模式能夠在沒有針對(duì)特定領(lǐng)域進(jìn)行微調(diào)的情況下對(duì)新的時(shí)間序列數(shù)據(jù)進(jìn)行準(zhǔn)確預(yù)測。這種泛化能力的實(shí)現(xiàn)得益于模型對(duì)不同領(lǐng)域時(shí)間序列特征的深入學(xué)習(xí)和抽象。預(yù)訓(xùn)練數(shù)據(jù)中的 3000 億時(shí)間點(diǎn)涵蓋了各種可能的時(shí)間序列變化模式模型通過學(xué)習(xí)這些模式形成了一種通用的時(shí)間序列理解能力能夠應(yīng)用于新的場景和領(lǐng)域。模型規(guī)格與使用方法模型規(guī)格參數(shù)約 5000 萬訓(xùn)練數(shù)據(jù)PreSTS 語料庫3000 多億時(shí)間點(diǎn)架構(gòu)基于 Transformer 的自適應(yīng)組件使用方法要使用 Kairos-50M 進(jìn)行時(shí)間序列預(yù)測可按照以下步驟操作首先克隆倉庫git clone https://gitcode.com/hf_mirrors/mldi-lab/Kairos_50m然后使用以下 Python 代碼加載模型并進(jìn)行預(yù)測import torch from tsfm.model.kairos import AutoModel # load model model AutoModel.from_pretrained( mldi-lab/Kairos_50m, trust_remote_codeTrue ) # forecasting configurations batch_size, context_length, prediction_length 1, 2048, 96 seqs torch.randn(batch_size, context_length) prediction_length 96 forecast model( past_targetseqs.clone().detach().float(), prediction_lengthprediction_length, generationTrue, preserve_positivityTrue, average_with_flipped_inputTrue ) # extract the prediction results forecast forecast[prediction_outputs] print(forecast.shape)總結(jié)3000 億時(shí)間點(diǎn)的 PreSTS 語料庫為 Kairos-50M 提供了堅(jiān)實(shí)的訓(xùn)練基礎(chǔ)結(jié)合其獨(dú)特的混合大小編碼器和動(dòng)態(tài)旋轉(zhuǎn)位置嵌入等架構(gòu)設(shè)計(jì)使得模型具備了強(qiáng)大的零樣本預(yù)測泛化能力。無論是在金融、氣象還是工業(yè)等領(lǐng)域Kairos-50M 都能夠?yàn)闀r(shí)間序列預(yù)測任務(wù)提供高效、準(zhǔn)確的解決方案。隨著時(shí)間序列數(shù)據(jù)的不斷增長和模型技術(shù)的持續(xù)進(jìn)步Kairos-50M 有望在更多領(lǐng)域發(fā)揮重要作用。【免費(fèi)下載鏈接】Kairos_50m項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/mldi-lab/Kairos_50m創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考