分类:AI

llama.cpp 启动流程分析

本篇博客仅对于llama.cpp的启动流程与使用做一个简单的介绍,不涉及LLM深层次的解析。 我对于本机运行小型的大语言模型很感兴趣,因而查询到了llama.cpp,并在开发使用的过程中测试老旧GPU硬件通过Vulkan加速后推理速度提升明显,甚感兴奋。于是记录最近阅读llama.cpp源码中的启动流程,方便后期LLM应用开发参考。 有了LLM我真的变得很强,连从没有学过的C++也有胆凭借一点点的C基础来查看。^_^ llama.cpp支持cli与server两种启动方式,开发llama.cpp的应用,第一想到的就是cli模式,于是先从cli的启动源码看起。 llama-cli启动分析 直接查看llama-cli的启动文件,tools/cli/main.cpp: int llama_cli(int argc, char ** argv); int main(int argc, char *...

编辑

CosyVoice 使用指南

一直有文本转语音的需要,本地化复制音频实现语言复制的功能也很有兴趣,于是知道了CosyVoice,于是整理了 CosyVoice 的安装部署流程、常见报错排查指南、模型差异说明以及高级功能(声音复刻 + 指令控制)的使用指导,方便后续使用。 一、 安装过程 1. 源码克隆与子模块更新 # 克隆仓库及子模块 git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git # 进入项目目录 cd CosyVoice # 若因网络问题导致子模块更新失败,请反复执行以下命令直到成功 git submodule update --init --recursive 2. Conda 环境配置 安装 Conda:请跳转至 Miniconda 官方安装页面 下载并安装。 创建与激活 Conda 环境: conda create -n c...

编辑

皇帝的新装:仅用 200 行代码复现 Claude 核心编程能力

原文:https://www.mihaileric.com/The-Emperor-Has-No-Clothes/ 作者:Mihail Eric 工程师、研究员、教育家。 如今的 AI 代码助手用起来简直如同魔法一般。你哪怕用些驴唇不对马嘴、逻辑勉强通顺的英文描述需求,它们也能读懂你的文件、修改你的项目,还能写出可直接运行的可用代码。 但真相是:这类工具的核心原理根本算不上什么魔法,大约只需 200 行通俗易懂、逻辑直白的 Python 代码即可实现。 接下来,我们就从零开始,亲手打造一个能实际工作的编码智能体(Code Agent)。 核心思维模型 在编写任何代码之前,我们先搞清楚:当你使用一款编码智能体时,背后实际发生的到底是什么。它的本质,不过是你与一个「带有工具箱的强大大语言模型(LLM)」进行的一场对话而已。 你 发送指令消息(新建一个文件,里面写一个 hello world 函...

编辑