上海科技大學(xué)信息學(xué)院系統(tǒng)與安全中心在大語(yǔ)言模型（LLMs）研究方面取得系列成果

　　隨著人工智能技術(shù)的快速發(fā)展，大語(yǔ)言模型(Large Language Models，LLMs)成為科研領(lǐng)域的熱點(diǎn)話(huà)題。上海科技大學(xué)信息科學(xué)與技術(shù)學(xué)院系統(tǒng)與安全中心(Systems and Security Center，以下簡(jiǎn)稱(chēng)SSC)在這一領(lǐng)域持續(xù)發(fā)力，課題組各有側(cè)重，為推動(dòng)大語(yǔ)言模型的應(yīng)用和部署發(fā)揮積極作用。近日，中心多個(gè)課題組在相關(guān)方面取得了一系列進(jìn)展。
 

　　陳宇奇課題組題為“DistillSeq: A Framework for Safety Alignment Testing in Large Language Models using Knowledge Distillation”的論文在第33屆ACM國(guó)際軟件測(cè)試與分析大會(huì)(The 33rd ACM SIGSOFT International Symposium on Software Testing and Analysis，ISSTA 2024)發(fā)表，上海科技大學(xué)為論文第一完成單位。該工作提出了一種名為DistillSeq的框架，旨在利用知識(shí)蒸餾技術(shù)，針對(duì)大型語(yǔ)言模型展開(kāi)高效且全面的安全對(duì)齊測(cè)試。鑒于LLMs可能生成有害內(nèi)容，對(duì)其安全性進(jìn)行全面評(píng)估至關(guān)重要。然而，傳統(tǒng)的測(cè)試方法需要大量的計(jì)算資源，成本高昂。DistillSeq 框架通過(guò)知識(shí)蒸餾顯著減少了測(cè)試 LLMs 所需的資源和時(shí)間，同時(shí)提高了測(cè)試的有效性。圖1展示了DistillSeq的工作流程。陳宇奇團(tuán)隊(duì)今后將繼續(xù)深入研究，進(jìn)一步優(yōu)化蒸餾模型性能，以應(yīng)對(duì)更復(fù)雜的測(cè)試場(chǎng)景。
 

圖1 DistillSeq的基于知識(shí)蒸餾的測(cè)試過(guò)程示意
 

　　陳宇奇課題組另一篇題為“Efficient Detection of Toxic Prompts in Large Language Models”的論文在第39屆IEEE/ACM國(guó)際自動(dòng)化軟件工程大會(huì)(The 39th IEEE/ACM International Conference on Automated Software Engineering, ASE 2024)發(fā)表，上海科技大學(xué)為論文第一完成單位。值得一提的是，該論文的共同第一作者是上科大信息學(xué)院2021級(jí)本科生郁鈞哲。陳宇奇、郁鈞哲和新加坡南洋理工大學(xué)的研究者合作提出了一種名為 ToxicDetector 的輕量級(jí)灰盒方法，旨在高效檢測(cè)大型語(yǔ)言模型中的毒性提示，開(kāi)發(fā)一種兼具高效性、可擴(kuò)展性和魯棒性的解決方案。圖2展示了ToxicDetector的工作原理。在多個(gè)數(shù)據(jù)集上，ToxicDetector 的平均 F1 分?jǐn)?shù)分別為 96.35% 和 96.28%，均優(yōu)于基線(xiàn)方法。即使在提示被偽裝或篡改的情況下，ToxicDetector 仍能有效檢測(cè)毒性提示。
 

圖2 ToxicDetector工作原理示意
 

　　何靜竹課題組研究成果“Artemis: Toward Accurate Detection of Server-Side Request Forgeries through LLM-Assisted Inter-procedural Path-Sensitive Taint Analysis”近日被ACM面向?qū)ο缶幊滔到y(tǒng)、語(yǔ)言和應(yīng)用大會(huì)(ACM International Conference on Object Oriented Programming Systems Languages and Applications，OOPSLA 2025)錄用，第一作者為2022級(jí)碩士研究生季宇辰，何靜竹教授為通訊作者，上海科技大學(xué)為論文第一完成單位。當(dāng)前，服務(wù)器端請(qǐng)求偽造(SSRF)漏洞在PHP Web應(yīng)用程序中是不可避免的。現(xiàn)有的靜態(tài)分析工具在檢測(cè)相關(guān)程序漏洞時(shí)，存在兩方面問(wèn)題：一是缺乏與SSRF有關(guān)的功能來(lái)提高檢測(cè)準(zhǔn)確性，二是沒(méi)有充分考慮PHP的動(dòng)態(tài)類(lèi)型特性。該研究提出了名為Artemis的靜態(tài)污點(diǎn)分析工具(圖3)，其中使用了大語(yǔ)言模型作為輔助方法。在 250個(gè)PHP Web應(yīng)用程序上進(jìn)行了評(píng)估，Artemis報(bào)告了207條真實(shí)漏洞路徑(其中106條為真實(shí)SSRF)，僅產(chǎn)生了15個(gè)誤報(bào)。在檢測(cè)到的106個(gè)SSRF漏洞中，35個(gè)是首次發(fā)現(xiàn)。這些結(jié)果彰顯了Artemis的優(yōu)秀效力。
 

圖3 Artemis系統(tǒng)架構(gòu)示意
 

　　張良峰課題組關(guān)于評(píng)估ChatGPT生成代碼質(zhì)量的研究發(fā)表于國(guó)際期刊IEEE Transactions on Software Engineering (IEEE TSE)。使用大語(yǔ)言模型自動(dòng)生成代碼能夠提高開(kāi)發(fā)效率，減少開(kāi)發(fā)時(shí)間，使開(kāi)發(fā)者能夠?qū)Ｗ⒂诟邔哟蔚倪壿嫼腿蝿?wù)。但使用LLMs生成的代碼在功能性、復(fù)雜性和安全性方面的質(zhì)量仍需評(píng)估。圖4展示了與ChatGPT的交互生成代碼的流程。該工作通過(guò)系統(tǒng)性實(shí)證評(píng)估，揭示了ChatGPT在代碼生成方面的潛力與局限性。結(jié)果顯示，未來(lái)研究可以探索更高效的提示設(shè)計(jì)方法，結(jié)合更多的代碼質(zhì)量和安全性評(píng)估工具，以?xún)?yōu)化LLMs在代碼生成任務(wù)中的應(yīng)用。該論文題為“No Need to Lift a Finger Anymore? Assessing the Quality of Code Generation by ChatGPT”，第一作者是碩士研究生劉志杰，論文由張良峰教授與英國(guó)、中國(guó)香港的合作者等聯(lián)合指導(dǎo)，上海科技大學(xué)為論文第一完成單位。
 

圖4與ChatGPT交互生成代碼的過(guò)程示意
 

　　殷樹(shù)課題組在大規(guī)模人工智能網(wǎng)絡(luò)(例如大語(yǔ)言模型)的檢查點(diǎn)(checkpoint)方法方面，提出了Portus算法。該算法通過(guò)優(yōu)化的數(shù)據(jù)傳輸路徑和索引結(jié)構(gòu)，顯著提升了DNN檢查點(diǎn)的效率，支持更細(xì)粒度的檢查點(diǎn)機(jī)制，并為大規(guī)模模型訓(xùn)練提供了高效的容錯(cuò)解決方案。該成果以“Portus: Efficient DNN Checkpointing to Persistent Memory with Zero-Copy”為題發(fā)表在IEEE第44屆國(guó)際分布式計(jì)算系統(tǒng)大會(huì)(IEEE 44th International Conference on Distributed Computing Systems ，ICDCS 2024)。
 

　　王春東課題組就加速圖神經(jīng)網(wǎng)絡(luò)(GNN)訓(xùn)練等做了系統(tǒng)性?xún)?yōu)化，提出了GNNDrive算法。該算法旨在減少內(nèi)存競(jìng)爭(zhēng)、緩解I/O擁塞和優(yōu)化數(shù)據(jù)準(zhǔn)備等，以實(shí)現(xiàn)在普通經(jīng)濟(jì)型硬件上處理大規(guī)模數(shù)據(jù)的目標(biāo)，具有一定的實(shí)用價(jià)值。該論文以“GNNDrive: Reducing Memory Contention and I/O Congestion for Disk-based GNN Training”為題發(fā)表在第53屆國(guó)際并行處理大會(huì)上(53rd International Conference on Parallel Processing，ICPP 2024)。