本篇博客仅对于llama.cpp的启动流程与使用做一个简单的介绍，不涉及LLM深层次的解析。 我对于本机运行小型的大语言模型很感兴趣，因而查询到了llama.cpp，并在开发使用的过程中测试老旧GPU硬件通过Vulkan加速后推理速度提升明显，甚感兴奋。于是记录最近阅读llama.cpp源码中的启动流程，方便后期LLM应用开发参考。 有了LLM我真的变得很强，连从没有学过的C++也有胆凭借一点点的C基础来查看。^_^ llama.cpp支持cli与server两种启动方式，开发llama.cpp的应用，第一想到的就是cli模式，于是先从cli的启动源码看起。 llama-cli启动分析 直接查看llama-cli的启动文件，tools/cli/main.cpp： int llama_cli(int argc, char ** argv); int main(int argc, char *...
一直有文本转语音的需要，本地化复制音频实现语言复制的功能也很有兴趣，于是知道了CosyVoice，于是整理了 CosyVoice 的安装部署流程、常见报错排查指南、模型差异说明以及高级功能（声音复刻 + 指令控制）的使用指导，方便后续使用。 一、 安装过程 1. 源码克隆与子模块更新 # 克隆仓库及子模块 git clone --recursive https://github.com/FunAudioLLM/CosyVoice.git # 进入项目目录 cd CosyVoice # 若因网络问题导致子模块更新失败，请反复执行以下命令直到成功 git submodule update --init --recursive 2. Conda 环境配置 安装 Conda：请跳转至 Miniconda 官方安装页面 下载并安装。 创建与激活 Conda 环境： conda create -n c...
这一年过得不算好，糟心事不少，但所幸都算不上大事，整体还算安稳。只是我总说不清，这份安稳该算幸运，还是藏着惰性。也有人说，平淡，无事，也许这样才是好的一年，以后的某些时间说不定你还会羡慕。岁月静好，平平淡淡，不就是福气。你看，不同的角度看待同一件事，效果就是不一样，这主要取决于你是出于什么样的心态。 2025年的最后一天，与老同学见了一面，让我感触颇深的是，他现在已经成为一名资深的独立开发者，并且开了一家属于自己的公司。公司开发了很多产品，用户量都达到了百万。有这些用户就足够了啊，只要付费用户稳定，基本上可以保持自己的衣食住行，确实厉害啊。 很多时候人的发展还是受限于自己的认知，人确实不可能挣自己认知以外的钱。以前吧，我一直觉得学一门技术将他最大化的深入下去，总会有一份属于自己的饭碗。现在确实应该好好的反省一下啊，技能只是工具，最重要的还是取决于你用这个工具去做什么。不兴说现在 AI 发展...
原文：https://www.mihaileric.com/The-Emperor-Has-No-Clothes/ 作者：Mihail Eric 工程师、研究员、教育家。 如今的 AI 代码助手用起来简直如同魔法一般。你哪怕用些驴唇不对马嘴、逻辑勉强通顺的英文描述需求，它们也能读懂你的文件、修改你的项目，还能写出可直接运行的可用代码。 但真相是：这类工具的核心原理根本算不上什么魔法，大约只需 200 行通俗易懂、逻辑直白的 Python 代码即可实现。 接下来，我们就从零开始，亲手打造一个能实际工作的编码智能体（Code Agent）。 核心思维模型 在编写任何代码之前，我们先搞清楚：当你使用一款编码智能体时，背后实际发生的到底是什么。它的本质，不过是你与一个「带有工具箱的强大大语言模型（LLM）」进行的一场对话而已。 你 发送指令消息（新建一个文件，里面写一个 hello world 函...
千里之行，始于足下，坚持就是最大的道理，回顾文章我一直坚持着，理论上最迟不能超过1月份的，没想到一拖再拖我还是拖到了3月底，再过几天就4月了，说来还是有点惭愧。 总体的概括24年，总体趋于平淡，现在回忆一下，值得谈的事也就以下几点： 2月份作为女婿去了趟岳父母家，这一年大姐也从陕西过来团圆，二姐由于就在近前，所以我和我老婆回门的时候，正是真正的团圆，这一年也是岳父母搬进新家的第一年，我有点不习惯，他们一家对我都挺好的，只是我自已心里面觉得与两个姐夫哥比，我好像混的是最差的一个，所以做事还是有一点压力，而且过来的时候由于我们俩刚借了岳父母的一笔钱将房贷还完，手上面很紧，上门也没有说买什么称手的礼品，虽然老婆表现的很理解，岳父母也不介意，我还是有点放不开的吧。一直觉得自己应该努力点，可是我们工资都是固定的，而且今年公司效益不是很好，也要停薪两个月，哎，还是挺难的。 3月份老婆说要搬家，搬得离她...
量变引起质变，希望我的这些年的回顾能拥有些价值吧。一年一篇，对于写一篇这样的回顾来说，真的时间算是长的了，可是，由于不坚持写作，输出超越一年长度的叙事文章对于我来说还是有点难度的，但没想到唠唠叨叨会写这多： 年初，我将小叮当从外婆家接回老家，这样就不用再与小孩与老婆分开了，半年没有见，小家伙见到我还是很兴奋的，不知道这是不是就是传说中的血缘的力量，每天我与他视频通话虽然说每次只说一会，但是见到了我后，他完全没有陌生的感觉，一个劲的和我疯闹，这时的他还不到两岁，全身透露出可爱。记得去年10月国庆节去外婆家见小叮当时，被小区的大妈调侃了一下，说你还要不要你的小孩子的，潜台词意思是说你怎么将小孩子和妈妈放在外婆家这么长时间，不应该是结了婚后你要多陪你自己的孩子的吗？说的让我惭愧，没有能给小家伙一个稳定的环境。还是要努力，真的不希望自己的孩子成为留守儿童。 在与小家伙相处的过程中，我能感受到他真的...
2022我脑子里面死劲的回想，想尽量回想些可以值得说道的部分，但好像没有什么值得说道的，这也是我一直不知道如何完成这篇记录的原因。于是我想到了一个办法，就是回到微博上去，去翻一翻我这一年来记录的文字，看看有什么值得说道的。但这也不免显得像记流水帐，但不管怎么样，一年，三百六十五天，八千多个小时，每小时记录一个字，也都可以组成一篇文章，我这么执着的每年记一篇文章，就是觉得任何平凡的人生都值被记录。 开年后小家伙的情况好些了，可是完全没有免疫力，每两个月都会感冒一次，弄得我们家里面心里面都像悬着颗未落地的石头。 春节刚回来上班的时候听到有一个老同事，被开了，让我吃惊不已，开始他和我说的时候我都还不相信以为他在和我开玩笑，没想到今年的萧条行情会最先转导到我身边。到了这个年龄，工作养家糊口如此的重要，全家吃饭全系于一身，不敢想象要是没有工作没有挣钱的渠道，该是个怎么的场景，压力越来越大了啊。三十多...
2021年的回顾真的是拖了又拖，主要还是牵挂的事越来越多，完全属于自己的时间越来越少。2021于我而言，可谓起起伏伏，波折不断。 开年奶奶就撒手而去，人都说家有一老胜似一宝，可是奶奶却很悲观，觉得好似自己是在拖累儿女们，每次看到儿孙们年后一各个离家远走去工作，独自一个人生活就会感觉到很孤单，和我的小阿姨每每聊起年后的生活时都会黯然落泪。是啊，过年时候的热闹无比，到年后独自生活的冷清，反差不可谓不大。最后奶奶选择在儿孙们准备远行的时候，自己结束了自己的生命。听到这个消息的时候，我刚离家到我老婆家，准备再逗留一天就出发去上班。早上8点，给我打电话的是我的妈妈，她告诉我奶奶走了，记得当时我听到这个消息的时候本能的感到惊愕，因为就在前一天我都在家门前和奶奶聊天，那个时候奶奶都还好好的！！于是我顾不了那么多就和我老婆商量我要马上回老家，那个时候我一边说，眼泪一直不停的流，心中一直抑制不住的悲伤情绪。...
万事开头难，又拖到了1月中旬才开始挪动手指回顾我的2020年。因为年初疫情的影响，谁也没有想到2020会变的如此的糟糕，好像大家都朌望着2020年能早点翻篇过去，直到2021年1月的今天这波疫情也还没有完全结束。因为石家庄与东北本土疫情的爆发，临近春节，对于人员流动的管控也越来越严格。 回顾2020年初，知道疫情传染性的那会，我正在上海虹桥至武汉的动车上，当时的发车点是深夜。在此之前的火车站候车大厅，我也一直在手机上面查找疫情的相关信息，也是有点担忧疫情会对春节活动造成一定的影响，但说实话，也万万没有想到会有如此深远的影响，以至全世界都受此波及。 由于看到的消息有点早，所以我提前准备好了口罩，上车后，我还发现有很多人还没有带口罩，毕竟当时的说法还是“有限的人传人”。但那天晚上发车后，在车上刷微博时，央视著名主持人白岩松与钟南山院士直播进行连线时，钟南山院土说出肯定存在人传人，而且已经有几名...
前置条件 ubuntu sudo apt-get install build-essential golang mercurial git centos yum install build-essential golang mercurial git 获取ngrok并编译 git clone https://github.com/inconshreveable/ngrok.git cd ngrok sudo make release-server release-client # 编译 生成证书 export NGROK_DOMAIN="ng.zqluo.com" openssl genrsa -out rootCA.key 2048 openssl req -x509 -new -nodes -key rootCA.key -subj "/CN=$NGROK_DO...
想写这篇总结有很久了，就是想记录下每年的成长心得，但是一直拖了又拖，娱乐至死啊，人确实是越来越懒了，哈哈！而且人越大，幸福的阈值就越高，能引起自己感兴趣的事就越来越少。进入新的一年我也三十了，不得不老生常谈的感叹下日子过的飞快。日子飞快，并不意味着生活也会跟着飞起。现在明白，自己只是人群中很普通的一员，不求有好的出息，只求万事能过的开心就好。以前总是容易想太多，尽想些没用的。不知道在哪里看过一段话，说：二十岁你会明白你父母只是普通人，三十岁你会明白你自己也很普通，而四十岁你会明白你的孩子同样也是普通人。当然了我说的是芸芸众生中的大多数，那些从小就氪金，含着金钥匙长大的玩家就另当别论了。我这样的观点并不是要人颓下去，就这样得过且过。只是我想说的是希望我们自己能认清事实，摈弃不必要的遐想，做事脚踏实地，一步一个脚印，积少成多。以前二十出头刚走入社会的时候我也曾有“气吞万里如虎”的豪情。只是现在...
在这里使用acme.sh这个Shell脚本客户端来更新获取Let's encrypt证书，相对于Let's Encrypt那个certbot python工具，依赖很多三方库，这个使用更便捷，并且支持泛型域名的DNS记录自助添加和证书的自动更新，纯“傻瓜式”工具。 一、安装 直接在命令行下执行 curl https://get.acme.sh | sh 或： wget -O - https://get.acme.sh | sh 这个脚本会把acme.sh安装到当前用户的home目录下:~/.acme.sh/，同时生成的证书也是在这个目录下。 并创建 一个 bash的alias, 方便你的使用: alias acme.sh=~/.acme.sh/acme.sh 自动为你创建cronjob定时执行任务, 每天0:00点自动检测所有的证书, 如果快过期了, 需要更新, 则会自动更...
最近读了一本书《被讨厌的勇气》，觉得很有必要写一篇读后总结，个人认为其中的一些观点值得被分享。当然了制造这篇文章并不是为了强调它有多么的好或者说它绝对的正确，而只是觉得可以为我们提供另外的一个视角去看待或处理一些小情绪，从而更加全面的思考小情绪的本质。由于每个人的身处环境，积累的经验与知识都不一样，势必形成的认知不同，很难做到让每一个人都认同。但如果有哪本书能够引发部分读者的共鸣，那么它就应该值得被称为一本好书，这本书对于我而言就是这样。特别是根据他的“目地论”来推导我自己的某些想法时，感觉后脊梁会有一身冷汗。废话不多说，言归正传。 打下基调 世界是我们的主观感受 在全书的开头就提出了一个“井水”推论：人并不是住在客观的世界里，而是住在自我营造的主观世界里，即我们看到世界的样子都是我们的主观感受。 提出这个推论的依据是说，井水的温度是恒定的，长年在18度左右，无论谁测都是一样，但是夏天喝到...
1.废话连篇的前言 一直以来我都是做传统WEB开发的，这些年的开发经验，对于传统WEB开发应该来说还算得心应手。最近由于客户的需求，需要做微信小程序的开发，刚开始觉得真没有什么，不就是前后端分离加上一个“新皮肤”（UI）而已吗，有什么大不了的？可是做着做着就发现了与传统的WEB开发有着一个本质的区别，我操！用户的状态信息该怎么保存呢？以前默认的Session会话管理彻底算是废了，后端的开放接口是无状态的！这时候我就在思考该使用一个什么样的机制来实现后端开放接口的用户身份状态的保持。 其实结合Session的原理我们可以知道，传统的WEB开发，在保持用户状态的时候，使用的是Session ID实现的：在浏览器第一次请求的时候给其生成一个Session ID（放在Cookie里），然后浏览器再在接下来的每一次请求中带上这个Session ID传给后端，而后端再根据这个Session ID检索对...
年未了，一直都有写总结的想法，但就是挪不动手，总是差点感觉，可能是生活太过于单调了吧，每天基本上就是两点一线，生活圈子也很单一，简单枯燥，那就想到什么就说点什么吧： 前段时间与一位差不多有五年没有见面的前同事学弟见了一面，他评价我，说我的变化不大，还是和五年前一样，不知道应该感到高兴还是悲哀。 总是觉得不同的年龄阶段就应当做些当前年龄阶段该干的事，这样就不算显的另类，也容易被大部分人所接受。我是个俗人，非常赞同这个观点，但现实没有达到我的预期。 今年我开始特别的在意我的年龄，做了一些事接触了一些人后，发现他们怎么都比我还要年轻几岁，怎么都显的那么的成熟？是啊，作为第一批九零后，我都快奔三十了，还是很稚嫩，有点另类。 记得在我刚出来工作的时候看过一本书，书名叫做《毕业五年决定你的一生》，里面的大概内容是说一个人工作前几年的行为习惯和处事风格的养成，决定这个人以后几十年乃至一生的高度，所以什么...