簡介本資源是一套面向計算機(jī)及相關(guān)專業(yè)本科生的課程設(shè)計與期末大作業(yè)實戰(zhàn)項目聚焦于生物信息學(xué)交叉場景——利用知識圖譜與推薦系統(tǒng)協(xié)同預(yù)測藥物-靶點相互作用。項目代碼完整、結(jié)構(gòu)清晰涵蓋數(shù)據(jù)預(yù)處理如hetionet.py、yamanishi_08.py、知識圖譜構(gòu)建BioKG.py、多種推薦模型實現(xiàn)deepdti.py、kge_rf.py、kge_nfm.py及訓(xùn)練評估全流程配套詳細(xì)操作指南與環(huán)境配置說明Pipfile、requirements.txt、README.md。壓縮包共40個文件含9個核心Python腳本、6個.DS_Store占位文件、1個說明文檔、1個許可證及若干配置與日志文件整體僅56KB輕量易部署。已有94人學(xué)習(xí)下載適合具備基礎(chǔ)Python與機(jī)器學(xué)習(xí)認(rèn)知的學(xué)生開展項目復(fù)現(xiàn)、算法對比或課程報告拓展可直接用于答辯演示、模型調(diào)優(yōu)實踐與知識圖譜推薦系統(tǒng)融合應(yīng)用的入門理解。1. 項目緣起當(dāng)藥物研發(fā)遇上AI推薦在藥物研發(fā)這個漫長且昂貴的鏈條里有一個環(huán)節(jié)至關(guān)重要那就是尋找能與特定疾病靶點通常是蛋白質(zhì)發(fā)生作用的候選藥物分子。傳統(tǒng)的高通量篩選方法成本動輒數(shù)百萬美元耗時數(shù)月成功率卻低得可憐。這感覺就像在茫茫大海里用最原始的漁網(wǎng)去撈一條特定花紋的魚效率極低。近幾年我身邊不少做計算化學(xué)和生物信息學(xué)的朋友開始頻繁討論兩個詞知識圖譜和推薦系統(tǒng)。乍一聽這倆一個像是搞“關(guān)系網(wǎng)”的一個像是電商平臺用的跟藥物研發(fā)有什么關(guān)系但仔細(xì)一想邏輯就通了。藥物、靶點、疾病、副作用、基因、通路……這些生物醫(yī)學(xué)實體之間存在著海量、復(fù)雜、多類型的關(guān)系這不正是一個天然的、亟待構(gòu)建的巨型知識圖譜嗎而預(yù)測一個新藥分子是否會和某個靶點結(jié)合本質(zhì)上不就是基于這個“圖譜”里已有的“用戶”靶點和“商品”藥物的交互歷史已知的結(jié)合關(guān)系去給一個“新商品”候選藥物做“個性化推薦”嗎這個想法讓我非常興奮。于是我決定動手用Python把這一套思路實現(xiàn)出來。目標(biāo)很明確構(gòu)建一個輕量級的、可復(fù)現(xiàn)的流程整合公開的生物醫(yī)學(xué)數(shù)據(jù)搭建一個藥物-靶點知識圖譜然后利用經(jīng)典的推薦系統(tǒng)算法去預(yù)測那些尚未被實驗驗證的潛在藥物-靶點相互作用。這不僅是一個有趣的技術(shù)驗證項目其產(chǎn)出的預(yù)測結(jié)果也能為真正的藥物發(fā)現(xiàn)提供有價值的計算線索和優(yōu)先級排序。下面我就把這個項目的完整實現(xiàn)思路、代碼解析以及實操中會遇到的各種“坑”和技巧毫無保留地分享出來。整個過程涉及數(shù)據(jù)處理、圖譜構(gòu)建、特征工程、模型訓(xùn)練和評估我會盡量用通俗的語言講清楚每個步驟背后的“為什么”。2. 核心數(shù)據(jù)源從哪里獲取藥物與靶點的“關(guān)系網(wǎng)”巧婦難為無米之炊。構(gòu)建知識圖譜和訓(xùn)練推薦模型第一步就是找數(shù)據(jù)。我們的核心需求是“藥物-靶點”的已知相互作用對。這里我強(qiáng)烈推薦一個公開、免費(fèi)且質(zhì)量較高的數(shù)據(jù)庫DrugBank。為什么選擇DrugBankDrugBank是一個獨(dú)特的生物信息學(xué)和化學(xué)信息學(xué)資源它詳細(xì)地結(jié)合了藥物化學(xué)數(shù)據(jù)和靶點蛋白數(shù)據(jù)。對于我們的項目來說它提供了兩大關(guān)鍵信息藥物信息包括藥物名稱、化學(xué)結(jié)構(gòu)SMILES、分類、作用機(jī)制等。靶點信息包括蛋白質(zhì)名稱、基因名、UniProt ID等。最關(guān)鍵的關(guān)系明確標(biāo)注了哪些藥物作用于哪些靶點。實際操作與數(shù)據(jù)獲取訪問DrugBank官網(wǎng)注冊一個免費(fèi)的研究賬戶即可下載數(shù)據(jù)集。我們主要需要兩個文件drugbank_all_full_database.xml完整數(shù)據(jù)庫或更易處理的drugbank_all_structures.sdf結(jié)構(gòu)文件配合其他CSV關(guān)系表。然而直接解析XML或SDF對于新手來說有點復(fù)雜。一個更快捷的入口是使用DrugBank提供的公開數(shù)據(jù)集比如在Kaggle上就能找到用戶上傳的、已處理好的DrugBank CSV文件包含drugs.csvtargets.csv和drug_target_interactions.csv。這對于快速啟動項目非常友好。注意使用任何公開數(shù)據(jù)務(wù)必遵守其使用許可協(xié)議License。DrugBank數(shù)據(jù)用于非商業(yè)學(xué)術(shù)研究通常是允許的但需要引用。數(shù)據(jù)預(yù)處理的關(guān)鍵步驟假設(shè)我們拿到了一個包含drug_id,drug_name,target_id,target_name,gene_name的交互表。原始數(shù)據(jù)往往很“臟”我們的預(yù)處理管道至少包含以下幾步import pandas as pd import numpy as np # 1. 加載數(shù)據(jù) interactions_df pd.read_csv(drug_target_interactions.csv) # 2. 去重同一對藥物-靶點可能因數(shù)據(jù)來源不同而有重復(fù)記錄 interactions_df interactions_df.drop_duplicates(subset[drug_id, target_id]) # 3. 處理缺失值檢查關(guān)鍵字段是否有空值 print(interactions_df.isnull().sum()) # 如果drug_name或target_name缺失較多可以考慮用ID代替或從其他表關(guān)聯(lián)補(bǔ)齊。 # 4. 統(tǒng)一標(biāo)識符靶點通常使用標(biāo)準(zhǔn)的UniProt ID如‘P00734’最可靠。 # 檢查target_id的格式如果不是UniProt ID可能需要通過基因名映射。 # 這里假設(shè)我們的target_id已經(jīng)是UniProt ID。 # 5. 構(gòu)建模型所需的矩陣將藥物和靶點映射為連續(xù)的索引 all_drugs interactions_df[drug_id].unique() all_targets interactions_df[target_id].unique() drug_to_idx {drug: i for i, drug in enumerate(all_drugs)} target_to_idx {target: j for j, target in enumerate(all_targets)} interactions_df[drug_idx] interactions_df[drug_id].map(drug_to_idx) interactions_df[target_idx] interactions_df[target_id].map(target_to_idx) # 此時我們得到了一個干凈的交互列表包含數(shù)字索引便于后續(xù)計算。這個預(yù)處理過程看似簡單卻決定了后續(xù)所有步驟的基石是否穩(wěn)固。數(shù)據(jù)中的噪聲和偏差會直接傳遞到模型中。3. 知識圖譜構(gòu)建用Neo4j描繪生物醫(yī)學(xué)關(guān)系圖有了干凈的藥物-靶點交互數(shù)據(jù)我們就可以構(gòu)建知識圖譜了。這里我選擇Neo4j作為圖數(shù)據(jù)庫。它是一個高性能的NOSQL圖形數(shù)據(jù)庫使用Cypher查詢語言非常直觀特別適合存儲和查詢復(fù)雜的關(guān)聯(lián)關(guān)系。為什么用圖數(shù)據(jù)庫而不用關(guān)系型數(shù)據(jù)庫因為“關(guān)系”是這里的頭等公民。我們不僅要存儲“藥物A作用于靶點B”這一事實未來還可能很容易地擴(kuò)展加入“靶點B屬于通路C”、“藥物A有副作用D”、“疾病E與靶點B相關(guān)”等關(guān)系。在圖數(shù)據(jù)庫中查詢“與藥物A有相同靶點的所有其他藥物”這樣的問題效率極高且表達(dá)直觀。這是傳統(tǒng)關(guān)系型數(shù)據(jù)庫通過多表JOIN難以優(yōu)雅實現(xiàn)的。環(huán)境準(zhǔn)備與Neo4j部署安裝從Neo4j官網(wǎng)下載桌面版或社區(qū)服務(wù)器版。桌面版帶圖形化界面對初學(xué)者更友好。啟動安裝后啟動Neo4j數(shù)據(jù)庫它會默認(rèn)在http://localhost:7474打開瀏覽器管理界面。默認(rèn)用戶名/密碼是neo4j/neo4j首次登錄會要求修改密碼。Python連接使用neo4j官方Python驅(qū)動。pip install neo4j構(gòu)建圖譜的Python代碼詳解接下來我們將清洗好的數(shù)據(jù)導(dǎo)入Neo4j。核心是創(chuàng)建“藥物”節(jié)點、“靶點”節(jié)點以及它們之間的“INTERACTS_WITH”關(guān)系。from neo4j import GraphDatabase class DrugTargetGraph: def __init__(self, uri, user, password): self.driver GraphDatabase.driver(uri, auth(user, password)) def close(self): self.driver.close() def create_drug_target_interaction(self, drug_id, drug_name, target_id, target_name): 創(chuàng)建單個藥物-靶點交互關(guān)系 with self.driver.session() as session: # 使用MERGE確保節(jié)點不存在時創(chuàng)建存在時則匹配。避免重復(fù)創(chuàng)建。 query MERGE (d:Drug {drug_id: $drug_id}) ON CREATE SET d.name $drug_name MERGE (t:Target {target_id: $target_id}) ON CREATE SET t.name $target_name MERGE (d)-[r:INTERACTS_WITH]-(t) RETURN d.name, t.name result session.run(query, drug_iddrug_id, drug_namedrug_name, target_idtarget_id, target_nametarget_name) return result.single() def batch_create_interactions(self, interactions_df): 批量導(dǎo)入交互數(shù)據(jù)性能遠(yuǎn)優(yōu)于單條插入 with self.driver.session() as session: # 將DataFrame轉(zhuǎn)換為適合Neo4j參數(shù)的列表 records interactions_df[[drug_id, drug_name, target_id, target_name]].to_dict(records) # 使用UNWIND進(jìn)行批量操作 query UNWIND $records AS record MERGE (d:Drug {drug_id: record.drug_id}) ON CREATE SET d.name record.drug_name MERGE (t:Target {target_id: record.target_id}) ON CREATE SET t.name record.target_name MERGE (d)-[:INTERACTS_WITH]-(t) session.run(query, recordsrecords) print(f成功導(dǎo)入 {len(records)} 條藥物-靶點交互關(guān)系。) # 使用示例 uri bolt://localhost:7687 # Neo4j的Bolt協(xié)議端口 user neo4j password your_new_password # 替換成你修改后的密碼 graph DrugTargetGraph(uri, user, password) # 假設(shè)interactions_df是預(yù)處理后的DataFrame包含drug_id,drug_name,target_id,target_name graph.batch_create_interactions(interactions_df) # 查詢示例查找與特定靶點如‘P00734’相互作用的所有藥物 def find_drugs_for_target(target_id): with graph.driver.session() as session: query MATCH (t:Target {target_id: $target_id})-[:INTERACTS_WITH]-(d:Drug) RETURN d.drug_id, d.name result session.run(query, target_idtarget_id) return [record for record in result] print(find_drugs_for_target(P00734)) graph.close()構(gòu)建圖譜時的核心技巧與避坑點務(wù)必使用MERGE而非CREATECREATE會無條件創(chuàng)建節(jié)點導(dǎo)致大量重復(fù)。MERGE是“有則匹配無則創(chuàng)建”保證了節(jié)點的唯一性。但要注意MERGE是對整個模式進(jìn)行匹配確保你的匹配條件如{drug_id: $drug_id}能唯一確定一個節(jié)點。批量操作是必須的千萬不要在循環(huán)中執(zhí)行單條MERGE語句效率極低。使用UNWIND將數(shù)據(jù)列表作為參數(shù)傳入讓數(shù)據(jù)庫一次性處理速度可能有數(shù)百倍的提升。索引是性能的關(guān)鍵在drug_id和target_id屬性上創(chuàng)建索引能大幅加速M(fèi)ERGE和MATCH操作。這應(yīng)該在導(dǎo)入數(shù)據(jù)之前完成。CREATE INDEX drug_id_index IF NOT EXISTS FOR (d:Drug) ON (d.drug_id); CREATE INDEX target_id_index IF NOT EXISTS FOR (t:Target) ON (t.target_id);內(nèi)存管理導(dǎo)入大量數(shù)據(jù)時可能會遇到堆內(nèi)存不足的問題?？梢栽贜eo4j配置文件中調(diào)整dbms.memory.heap.initial_size和dbms.memory.heap.max_size或者將批量導(dǎo)入的批次大小調(diào)小。完成這一步后你就擁有了一個可視化的、可查詢的藥物-靶點關(guān)系網(wǎng)絡(luò)。但這只是靜態(tài)的知識庫如何讓它變得“智能”能進(jìn)行預(yù)測呢這就需要推薦系統(tǒng)算法了。4. 推薦系統(tǒng)模型矩陣分解與深度學(xué)習(xí)的抉擇將藥物-靶點預(yù)測視為推薦問題我們有一個用戶-物品評分矩陣R其中“用戶”是靶點“物品”是藥物“評分”是是否存在相互作用1表示已知作用0表示未知或暫無記錄。但這個矩陣極其稀疏已知作用相對所有可能組合來說極少。我們的目標(biāo)是補(bǔ)全這個稀疏矩陣預(yù)測那些“空白處”的值即未知的藥物-靶點對是1可能作用的概率。這里我對比兩種主流方法經(jīng)典的矩陣分解和基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型。4.1 方法一隱語義模型與矩陣分解矩陣分解Matrix Factorization, MF是協(xié)同過濾的基石。其思想是將高維稀疏矩陣Rm個靶點 x n個藥物分解為兩個低維稠密矩陣的乘積R ≈ P * Q^T。其中P是靶點隱因子矩陣m x kQ是藥物隱因子矩陣n x kk是隱因子維度通常遠(yuǎn)小于m和n。直觀理解每個靶點可以用一個k維向量p_u表示其“偏好特征”每個藥物用一個k維向量q_i表示其“屬性特征”。預(yù)測靶點u對藥物i的交互概率就是計算這兩個向量的內(nèi)積p_u · q_i。內(nèi)積值越高表示靶點的偏好與藥物的屬性越匹配相互作用可能性越大。使用Surprise庫實現(xiàn)Python的Surprise庫專門用于構(gòu)建和分析推薦系統(tǒng)內(nèi)置了SVD奇異值分解一種矩陣分解方法等算法。from surprise import Dataset, Reader, SVD from surprise.model_selection import train_test_split from surprise import accuracy import pandas as pd # 1. 準(zhǔn)備數(shù)據(jù)Surprise需要的數(shù)據(jù)格式是 (target_idx, drug_idx, rating) # 我們的‘rating’是二元的1有交互或 0無交互。但Surprise通常處理顯式評分。 # 對于隱式反饋只有正樣本1負(fù)樣本未知我們需要負(fù)采樣。 def prepare_implicit_data(interactions_df, num_negatives1): 為隱式反饋準(zhǔn)備數(shù)據(jù)。 interactions_df: 包含drug_idx, target_idx的正樣本DataFrame。 num_negatives: 為每個正樣本采樣的負(fù)樣本數(shù)。 pos_samples interactions_df[[target_idx, drug_idx]].copy() pos_samples[rating] 1 # 負(fù)采樣隨機(jī)選擇未觀察到的target, drug對作為負(fù)樣本 all_targets interactions_df[target_idx].unique() all_drugs interactions_df[drug_idx].unique() pos_pairs set(zip(interactions_df[target_idx], interactions_df[drug_idx])) neg_samples [] for target in all_targets: # 獲取該靶點未交互的藥物 interacted_drugs set(interactions_df[interactions_df[target_idx]target][drug_idx]) non_interacted_drugs list(set(all_drugs) - interacted_drugs) # 隨機(jī)采樣 if non_interacted_drugs: sampled_neg np.random.choice(non_interacted_drugs, sizemin(num_negatives, len(non_interacted_drugs)), replaceFalse) for drug in sampled_neg: neg_samples.append([target, drug, 0]) neg_df pd.DataFrame(neg_samples, columns[target_idx, drug_idx, rating]) all_data_df pd.concat([pos_samples, neg_df], ignore_indexTrue) return all_data_df # 生成帶負(fù)樣本的數(shù)據(jù) implicit_data_df prepare_implicit_data(interactions_df, num_negatives3) # 2. 定義Reader和加載數(shù)據(jù)Surprise要求評分范圍 reader Reader(rating_scale(0, 1)) data Dataset.load_from_df(implicit_data_df[[target_idx, drug_idx, rating]], reader) # 3. 劃分訓(xùn)練集和測試集 trainset, testset train_test_split(data, test_size0.2, random_state42) # 4. 使用SVD算法矩陣分解 algo SVD(n_factors50, n_epochs20, lr_all0.005, reg_all0.02, random_state42) algo.fit(trainset) # 5. 預(yù)測與評估 predictions algo.test(testset) # RMSE, MAE對于0/1評分可能不是最佳指標(biāo)但可用 rmse accuracy.rmse(predictions) mae accuracy.mae(predictions) # 6. 為特定靶點做Top-N藥物推薦 def get_top_n_recommendations(algo, target_idx, drug_pool, n10): 為指定靶點推薦Top-N個最可能相互作用的藥物。 drug_pool: 所有候選藥物的索引列表。 # 預(yù)測該靶點對所有藥物的評分 predictions [algo.predict(target_idx, drug_idx) for drug_idx in drug_pool] # 按估計評分降序排序 predictions.sort(keylambda x: x.est, reverseTrue) top_n predictions[:n] return [(pred.iid, pred.est) for pred in top_n] # 返回(藥物索引預(yù)測評分) all_drugs_idx list(drug_to_idx.values()) top10_for_target_0 get_top_n_recommendations(algo, target_idx0, drug_poolall_drugs_idx, n10) print(f為靶點索引0推薦的Top-10藥物: {top10_for_target_0})矩陣分解的優(yōu)缺點優(yōu)點模型簡單可解釋性相對較強(qiáng)隱因子可能對應(yīng)某些生物化學(xué)特性計算效率高在稀疏數(shù)據(jù)上表現(xiàn)穩(wěn)健。缺點本質(zhì)上仍是線性模型難以捕捉藥物和靶點之間復(fù)雜的非線性關(guān)系。特征需要手動設(shè)計或僅依賴ID無法利用藥物結(jié)構(gòu)如SMILES、靶點序列等豐富特征。4.2 方法二深度學(xué)習(xí)模型NeuMF架構(gòu)為了克服MF的局限性我們可以引入深度學(xué)習(xí)。神經(jīng)矩陣分解Neural Matrix Factorization, NeuMF是一個經(jīng)典的混合模型它同時學(xué)習(xí)MF的線性部分和MLP多層感知機(jī)的非線性部分。模型思想MF部分和傳統(tǒng)MF一樣得到靶點隱向量p_u和藥物隱向量q_i做內(nèi)積p_u · q_i。MLP部分將p_u和q_i拼接起來輸入到一個深度神經(jīng)網(wǎng)絡(luò)中。這個網(wǎng)絡(luò)可以學(xué)習(xí)到p_u和q_i之間任意的非線性交互函數(shù)。融合將MF部分的輸出和MLP部分的輸出拼接最后通過一個全連接層映射到預(yù)測概率。使用PyTorch實現(xiàn)NeuMFimport torch import torch.nn as nn import torch.optim as optim from torch.utils.data import Dataset, DataLoader import numpy as np # 1. 定義數(shù)據(jù)集 class DrugTargetDataset(Dataset): def __init__(self, df, num_drugs, num_targets): self.targets torch.LongTensor(df[target_idx].values) self.drugs torch.LongTensor(df[drug_idx].values) self.ratings torch.FloatTensor(df[rating].values) self.num_drugs num_drugs self.num_targets num_targets def __len__(self): return len(self.ratings) def __getitem__(self, idx): return self.targets[idx], self.drugs[idx], self.ratings[idx] # 2. 定義NeuMF模型 class NeuMF(nn.Module): def __init__(self, num_targets, num_drugs, mf_dim8, mlp_layers[64, 32, 16], dropout0.2): super().__init__() # MF嵌入層 self.mf_target_embedding nn.Embedding(num_targets, mf_dim) self.mf_drug_embedding nn.Embedding(num_drugs, mf_dim) # MLP嵌入層 (維度通常比MF大以捕捉更多信息) self.mlp_target_embedding nn.Embedding(num_targets, mlp_layers[0]//2) self.mlp_drug_embedding nn.Embedding(num_drugs, mlp_layers[0]//2) # MLP部分 mlp_modules [] input_dim mlp_layers[0] # 兩個嵌入向量拼接后的維度 for output_dim in mlp_layers[1:]: mlp_modules.append(nn.Linear(input_dim, output_dim)) mlp_modules.append(nn.ReLU()) mlp_modules.append(nn.Dropout(pdropout)) input_dim output_dim self.mlp_layers nn.Sequential(*mlp_modules) # 預(yù)測層 self.predict_layer nn.Linear(mf_dim mlp_layers[-1], 1) self.sigmoid nn.Sigmoid() # 初始化權(quán)重 self._init_weights() def _init_weights(self): for m in self.modules(): if isinstance(m, nn.Embedding): nn.init.normal_(m.weight, mean0.0, std0.01) elif isinstance(m, nn.Linear): nn.init.xavier_uniform_(m.weight) if m.bias is not None: nn.init.constant_(m.bias, 0) def forward(self, target_indices, drug_indices): # MF部分 mf_target_vec self.mf_target_embedding(target_indices) mf_drug_vec self.mf_drug_embedding(drug_indices) mf_output torch.mul(mf_target_vec, mf_drug_vec) # 逐元素相乘等價于內(nèi)積的擴(kuò)展 # MLP部分 mlp_target_vec self.mlp_target_embedding(target_indices) mlp_drug_vec self.mlp_drug_embedding(drug_indices) mlp_input torch.cat([mlp_target_vec, mlp_drug_vec], dim-1) mlp_output self.mlp_layers(mlp_input) # 融合 concat torch.cat([mf_output, mlp_output], dim-1) prediction self.predict_layer(concat) output self.sigmoid(prediction).squeeze() # 輸出0-1之間的概率 return output # 3. 訓(xùn)練循環(huán) def train_model(model, train_loader, val_loader, epochs20, lr0.001): device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) criterion nn.BCELoss() # 二分類交叉熵?fù)p失 optimizer optim.Adam(model.parameters(), lrlr) for epoch in range(epochs): model.train() train_loss 0.0 for batch_targets, batch_drugs, batch_ratings in train_loader: batch_targets, batch_drugs, batch_ratings batch_targets.to(device), batch_drugs.to(device), batch_ratings.to(device) optimizer.zero_grad() outputs model(batch_targets, batch_drugs) loss criterion(outputs, batch_ratings) loss.backward() optimizer.step() train_loss loss.item() * batch_targets.size(0) avg_train_loss train_loss / len(train_loader.dataset) # 驗證 model.eval() val_loss 0.0 with torch.no_grad(): for batch_targets, batch_drugs, batch_ratings in val_loader: batch_targets, batch_drugs, batch_ratings batch_targets.to(device), batch_drugs.to(device), batch_ratings.to(device) outputs model(batch_targets, batch_drugs) loss criterion(outputs, batch_ratings) val_loss loss.item() * batch_targets.size(0) avg_val_loss val_loss / len(val_loader.dataset) print(fEpoch {epoch1}/{epochs} - Train Loss: {avg_train_loss:.4f}, Val Loss: {avg_val_loss:.4f}) # 4. 數(shù)據(jù)準(zhǔn)備與訓(xùn)練 from sklearn.model_selection import train_test_split train_df, val_df train_test_split(implicit_data_df, test_size0.1, random_state42) train_dataset DrugTargetDataset(train_df, num_drugslen(all_drugs), num_targetslen(all_targets)) val_dataset DrugTargetDataset(val_df, num_drugslen(all_drugs), num_targetslen(all_targets)) train_loader DataLoader(train_dataset, batch_size256, shuffleTrue) val_loader DataLoader(val_dataset, batch_size256, shuffleFalse) model NeuMF(num_targetslen(all_targets), num_drugslen(all_drugs), mf_dim16, mlp_layers[128, 64, 32]) train_model(model, train_loader, val_loader, epochs15, lr0.001)深度學(xué)習(xí)模型的優(yōu)缺點優(yōu)點模型容量大能學(xué)習(xí)復(fù)雜的非線性關(guān)系有潛力達(dá)到更高的預(yù)測精度。易于擴(kuò)展可以很方便地將藥物分子指紋、靶點序列特征等作為額外輸入。缺點需要更多的數(shù)據(jù)以防止過擬合訓(xùn)練時間更長模型可解釋性差是個“黑盒”超參數(shù)層數(shù)、維度、學(xué)習(xí)率等調(diào)優(yōu)更復(fù)雜。如何選擇如果你的數(shù)據(jù)集不大比如只有幾千個已知交互計算資源有限且需要快速驗證和可解釋性從矩陣分解如Surprise的SVD開始是穩(wěn)妥的選擇。如果你的數(shù)據(jù)集規(guī)模可觀數(shù)萬以上交互并且你希望探索更高的預(yù)測上限不介意調(diào)參和更長的訓(xùn)練時間那么嘗試NeuMF這類深度學(xué)習(xí)模型是值得的。你甚至可以進(jìn)一步升級模型用圖神經(jīng)網(wǎng)絡(luò)GNN直接在圖結(jié)構(gòu)Neo4j中的關(guān)系上進(jìn)行學(xué)習(xí)這可能是更前沿的方向。5. 特征工程進(jìn)階融入藥物與靶點的本體信息前面的模型只使用了藥物和靶點的ID作為特征這丟失了大量寶貴的本體信息。一個更強(qiáng)大的模型應(yīng)該能利用這些信息。例如藥物特征可以從SMILES字符串計算分子指紋如ECFP4或使用預(yù)訓(xùn)練的分子表示模型如ChemBERTa得到向量。靶點特征可以從蛋白質(zhì)序列通過UniProt ID獲取計算氨基酸組成、理化性質(zhì)或使用蛋白質(zhì)語言模型如ESM得到嵌入向量。如何整合這些特征以NeuMF為例我們可以修改模型將額外的特征向量與原有的ID嵌入向量進(jìn)行融合。class NeuMFWithFeatures(nn.Module): def __init__(self, num_targets, num_drugs, drug_feat_dim, target_feat_dim, mf_dim8, mlp_layers[64, 32, 16]): super().__init__() # ID嵌入層 self.mf_target_embedding nn.Embedding(num_targets, mf_dim) self.mf_drug_embedding nn.Embedding(num_drugs, mf_dim) self.mlp_target_embedding nn.Embedding(num_targets, mlp_layers[0]//2) self.mlp_drug_embedding nn.Embedding(num_drugs, mlp_layers[0]//2) # 特征處理層簡單的全連接層用于降維或統(tǒng)一維度 self.drug_feat_layer nn.Linear(drug_feat_dim, mlp_layers[0]//2) self.target_feat_layer nn.Linear(target_feat_dim, mlp_layers[0]//2) # MLP部分輸入維度變?yōu)?(mlp_id_embed feature_embed) * 2 mlp_input_dim mlp_layers[0] * 2 # 因為藥物和靶點的ID嵌入與特征嵌入要拼接 mlp_modules [] input_dim mlp_input_dim for output_dim in mlp_layers[1:]: mlp_modules.append(nn.Linear(input_dim, output_dim)) mlp_modules.append(nn.ReLU()) mlp_modules.append(nn.Dropout(p0.2)) input_dim output_dim self.mlp_layers nn.Sequential(*mlp_modules) self.predict_layer nn.Linear(mf_dim mlp_layers[-1], 1) self.sigmoid nn.Sigmoid() self._init_weights() def forward(self, target_indices, drug_indices, target_features, drug_features): # MF部分僅基于ID mf_target_vec self.mf_target_embedding(target_indices) mf_drug_vec self.mf_drug_embedding(drug_indices) mf_output torch.mul(mf_target_vec, mf_drug_vec) # MLP部分融合ID和特征 mlp_target_id_vec self.mlp_target_embedding(target_indices) mlp_drug_id_vec self.mlp_drug_embedding(drug_indices) # 處理額外特征 mlp_target_feat_vec self.target_feat_layer(target_features) mlp_drug_feat_vec self.drug_feat_layer(drug_features) # 拼接ID嵌入和特征嵌入 mlp_target_concat torch.cat([mlp_target_id_vec, mlp_target_feat_vec], dim-1) mlp_drug_concat torch.cat([mlp_drug_id_vec, mlp_drug_feat_vec], dim-1) # 拼接靶點和藥物的綜合向量 mlp_input torch.cat([mlp_target_concat, mlp_drug_concat], dim-1) mlp_output self.mlp_layers(mlp_input) concat torch.cat([mf_output, mlp_output], dim-1) prediction self.predict_layer(concat) output self.sigmoid(prediction).squeeze() return output這樣模型就能同時從交互歷史協(xié)同過濾和藥物/靶點自身的屬性基于內(nèi)容中學(xué)習(xí)預(yù)測能力通常會更強(qiáng)。獲取這些特征需要借助其他工具庫例如用RDKit計算分子指紋用Biopython或在線API獲取蛋白質(zhì)序列信息。6. 模型評估與結(jié)果解讀不僅僅是AUC在二分類預(yù)測任務(wù)中我們不能只看損失函數(shù)下降。常用的評估指標(biāo)包括準(zhǔn)確率Accuracy、精確率Precision、召回率Recall、F1-score以及ROC曲線下面積AUC。對于高度不平衡的數(shù)據(jù)正負(fù)樣本比例懸殊AUC通常是更穩(wěn)健的指標(biāo)。from sklearn.metrics import roc_auc_score, precision_recall_curve, auc, classification_report import torch def evaluate_model(model, data_loader): device next(model.parameters()).device model.eval() all_predictions [] all_labels [] with torch.no_grad(): for batch_targets, batch_drugs, batch_ratings in data_loader: batch_targets, batch_drugs, batch_ratings batch_targets.to(device), batch_drugs.to(device), batch_ratings.to(device) # 假設(shè)我們只有ID沒有額外特征。如果有特征需要傳入。 outputs model(batch_targets, batch_drugs) all_predictions.extend(outputs.cpu().numpy()) all_labels.extend(batch_ratings.cpu().numpy()) all_predictions np.array(all_predictions) all_labels np.array(all_labels) # 計算AUC auc_score roc_auc_score(all_labels, all_predictions) print(fROC-AUC Score: {auc_score:.4f}) # 計算PR-AUC (對于不平衡數(shù)據(jù)有時比ROC-AUC更敏感) precision, recall, _ precision_recall_curve(all_labels, all_predictions) pr_auc auc(recall, precision) print(fPR-AUC Score: {pr_auc:.4f}) # 選擇一個閾值例如0.5計算分類報告 binary_predictions (all_predictions 0.5).astype(int) print(classification_report(all_labels, binary_predictions, target_names[Negative, Positive])) return auc_score, pr_auc # 在測試集上評估 # 需要先創(chuàng)建測試集的DataLoader test_dataset DrugTargetDataset(test_df, num_drugslen(all_drugs), num_targetslen(all_targets)) test_loader DataLoader(test_dataset, batch_size256, shuffleFalse) evaluate_model(model, test_loader)結(jié)果解讀與驗證得到一個不錯的AUC分?jǐn)?shù)比如0.85以上是一個好的開始但這遠(yuǎn)不是終點。對于藥物發(fā)現(xiàn)而言可解釋性和生物學(xué)合理性至關(guān)重要。Top-K預(yù)測分析查看模型為某個重要靶點如與癌癥相關(guān)的激酶推薦的前10個藥物。這些藥物是已知的嗎如果是已知的說明模型成功回憶起了知識。如果是未知的去查文獻(xiàn)或數(shù)據(jù)庫看是否有初步的生物學(xué)證據(jù)支持這能提供最直接的驗證。案例分析選擇一個模型高置信度預(yù)測的新相互作用對藥物A-靶點B進(jìn)行深入的文獻(xiàn)調(diào)研和分子對接模擬這超出了本代碼范疇但卻是實際項目中的必要步驟。錯誤分析檢查那些被模型錯誤預(yù)測的樣本假陽性、假陰性。是否存在數(shù)據(jù)質(zhì)量問題例如某些“負(fù)樣本”在現(xiàn)實中其實是相互作用的只是尚未被實驗發(fā)現(xiàn)或收錄進(jìn)數(shù)據(jù)庫這能幫助你理解模型的局限性和數(shù)據(jù)的偏差。7. 項目總結(jié)與避坑指南回顧整個項目我們從數(shù)據(jù)獲取、知識圖譜構(gòu)建到推薦系統(tǒng)模型的實現(xiàn)與評估完成了一個完整的AI輔助藥物靶點預(yù)測流程。這個過程里我踩過不少坑也總結(jié)了一些關(guān)鍵經(jīng)驗核心避坑點數(shù)據(jù)質(zhì)量是天花板DrugBank數(shù)據(jù)雖然好但也不完美。可能存在標(biāo)注錯誤、遺漏或偏差。務(wù)必進(jìn)行徹底的數(shù)據(jù)清洗和探索性分析EDA?？紤]融合多個數(shù)據(jù)源如ChEMBL, BindingDB來增加數(shù)據(jù)的覆蓋面和可靠性。負(fù)樣本的定義是玄學(xué)我們采用隨機(jī)采樣的方式生成負(fù)樣本但生物學(xué)上“未觀測到相互作用”絕不等于“不相互作用”。這被稱為“正未標(biāo)記”Positive-Unlabeled, PU學(xué)習(xí)問題。更高級的做法是使用“負(fù)樣本”挖掘策略比如選擇那些與靶點空間距離很遠(yuǎn)的藥物或者使用一些生物學(xué)上不可能結(jié)合的規(guī)則來生成“硬負(fù)樣本”。評估指標(biāo)的誤導(dǎo)性在極度稀疏正樣本極少的數(shù)據(jù)上即使AUC很高模型也可能只是學(xué)會了把所有樣本都預(yù)測為負(fù)類。一定要結(jié)合精確率-召回率曲線PR Curve和Top-K的命中率Hit Ratio來綜合判斷。在測試集劃分時務(wù)必確保每個靶點/藥物在訓(xùn)練和測試集中都有出現(xiàn)即采用按用戶/物品的分層抽樣避免冷啟動問題被掩蓋。Neo4j導(dǎo)入性能導(dǎo)入百萬級關(guān)系時如果一次性UNWIND一個巨大的列表可能會內(nèi)存溢出。需要分批次提交每批幾萬條。使用apoc.periodic.iterate過程也是一種更專業(yè)的批量導(dǎo)入方法。深度學(xué)習(xí)模型過擬合由于數(shù)據(jù)量可能相對模型復(fù)雜度來說不夠大過擬合是常態(tài)。務(wù)必使用早停Early Stopping、Dropout、權(quán)重衰減L2正則化等技術(shù)。同時簡化模型結(jié)構(gòu)減少層數(shù)、降低嵌入維度往往是第一個應(yīng)該嘗試的解決方案?？蓮?fù)現(xiàn)性設(shè)置隨機(jī)種子np.random.seed(),torch.manual_seed()對于實驗的可復(fù)現(xiàn)性至關(guān)重要。否則每次運(yùn)行的負(fù)采樣和模型初始化結(jié)果都會不同。未來擴(kuò)展方向圖神經(jīng)網(wǎng)絡(luò)GNN這是最自然的延伸。我們已經(jīng)在Neo4j中構(gòu)建了圖可以直接使用PyTorch Geometric或DGL庫將藥物、靶點作為節(jié)點已知相互作用作為邊讓信息在圖上傳播從而學(xué)習(xí)更豐富的節(jié)點表示。這比獨(dú)立的ID嵌入更能利用網(wǎng)絡(luò)結(jié)構(gòu)信息。多模態(tài)特征融合除了分子指紋和序列還可以引入藥物的副作用、靶點的基因本體論GO注釋、通路信息等構(gòu)建一個更豐富的知識圖譜并設(shè)計更復(fù)雜的多模態(tài)融合模型。主動學(xué)習(xí)與濕實驗驗證將模型部署為一個持續(xù)學(xué)習(xí)的系統(tǒng)。將模型預(yù)測的高置信度新相互作用提交給生物學(xué)家進(jìn)行濕實驗驗證然后將驗證結(jié)果無論是正例還是反例作為新數(shù)據(jù)反饋給模型形成一個閉環(huán)不斷提升模型的實用性和可靠性。這個項目就像搭積木本文提供了最核心的幾塊積木和搭建方法。你可以根據(jù)自己的需求和興趣更換更優(yōu)質(zhì)的數(shù)據(jù)源積木嘗試更先進(jìn)的模型架構(gòu)搭建方式最終構(gòu)建出屬于你自己的、更強(qiáng)大的藥物發(fā)現(xiàn)輔助工具。希望這份詳細(xì)的指南和代碼能為你節(jié)省大量摸索的時間直接切入到最有價值的探索環(huán)節(jié)中去。本文還有配套的精品資源點擊獲取