AI
使用深度优先搜索方法解决大规模迷宫问题
DFS算法又称深度优先搜索：1. dfs是一种在开发爬虫早期使用较多的方法，是搜索算法的一种。2. dfs的目的是要达到被搜索结构的叶结点，即那些不包含任何超链的...
深入浅出LLamaSharp：打造智能.NET应用，不需GPU也能玩转LLaMA模型
在如今的.NET社区中，机器学习和人工智能的应用越来越普遍。今天我要给大家推荐一个名叫LLamaSharp的开源...
推荐两个工具：DeepSpeed-FastGen和DataTrove
DeepSpeed-FastGen通过 MII 和 DeepSpeed-Inference 加速LLM生成文本仓库地址：https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-fastge...
【LLM问答】两阶段的对话式问答模型ChatQA思路和兼看两阶段的RAG知识问答引擎QAnything
一、ChatQA 1.1 微调如下图，ChatQA微调包含两个阶段，Supervised Fine-tuning和Context-Enhanced Instruction Tuning1.1.1 阶段一：SFT（Supervised Fine-tu...
使用KTO进行更好、更便宜、更快速的LLM对齐
KTO全称为Kahneman-Tversky Optimisation，这种对齐方法使在我们的数据上对大型语言模型（LLM）进行对齐变得前所未有地容易和便宜，而且不会损害性能。大型语...
参数凝聚的系列简介
2020年开始，我们深入研究了参数凝聚现象，形成较为系统的工作。包括2024TPAMI, ICLR,CSIAM-AM, 2022 NeurIPSs, 2021 NeurIPS, JML, 2020 JMLR等。2020年，我...
Web LLM attacks
Organizations are rushing to integrate Large Language Models (LLMs) in order to improve their online customer experience. This exposes them to web ...
如何防止模型被窃取？基于TVM的端上模型部署加密方案
背景2023年在AI的发展史上一定是浓墨重彩的一笔，在这一年里出现了百模大战、全民“炼丹”的场面，围绕着各种模型的训练技术和算力需求有很多讨论。随着模型的...
大模型关于Lora论文集合
《Chain of LoRA:Efficient Fine-tuning of Language Models via Residual Learning》Chain of LoRA (COLA)，这是一种受 Frank-Wolfe 算法启发的迭代优化框架...
LLM强化防线：大模型敏感信息的泄露检测和风险评估
01 概述随着大语言模型（LLM）及相关技术的迅猛发展，越来越多的人开始将其视为提升工作效率的有力工具，但与此同时，人们对于LLM敏感信息泄漏问题的担忧与日...