北黄的学习成长路

为什么向量点积越大，表示两个向量之间的相似度越高？这是一个非常深刻且重要的问题！理解“为什么向量点积越大，相似度越高”，是掌握现代机器学习（尤其是注意力机制、推荐系统、语义搜索等）的关键基础，我们来一步步拆解。 1. 向量点积的数学定义给定两个向量 a 和 b，它们的点积（Dot Product）定义为： $$\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i = a_1 b_1 + a_2 b_2 + \cdots + a_n b_n$$ 但还有一个几何定义，它才是理解“相似度”的关键： $$\mathbf{a} \cdot \mathbf{b} = |\mathbf{a}| |\mathbf{b}| \cos \theta$$ 其中： $|\mathbf{a}|$ 是向量 a 的长度（模）， $|\mathbf{b}|$ 是向量 b 的长度， $\theta$ 是两个向量之间的夹角。 2. 从夹角 $\theta$ 理解“相似度”我们关心的是方向上的相似性，而不是大小。两个向...

知识串联：BPE 是方法，tiktoken 是工具 名称 类型 核心作用 所属领域 关系 BPE 分词算法 字节对编码（Byte Pair Encoding），一种将文本拆分成**子词（subword）**的方法。 文本预处理、大语言模型 tiktoken 实现了 BPE 及其变体，是使用这种方法的具体工具。 tiktoken 分词工具库 OpenAI 开发的高效分词库，用于将文本转换为其模型（如 GPT-3/4）使用的 Token 序列。 OpenAI 模型、分词计数 tiktoken 是 OpenAI 模型分词的官方标准，其核心算法是 BPE 的优化版本。 BPE（Byte Pair Encoding，字节对编码）BPE 是一种数据压缩技术，但它被引入 NLP 领域并成为目前大语言模型（如 Transformer 架构）中最常用的分词算法之一。 BPE 的核心思想BPE 的目标是解决传统分词方法（如按词分词或按字符分词）的痛点，实现词汇表大小和表示能力的平衡： 初始化： 将文本中的每个字符视作一个初始的“Token”。 合并： 迭代地寻找语料库中...

大模型向量张量表征学习（Embedding）向量数据库微调全量微调高效微调RAGAgentPEFT（LoRA / QLoRA）量化知识灌注ChunkTokensSFT (监督微调) 人类偏好对齐（RLHF/DPO） RLHF：Reinforcenment Learning from Human Feedback 生成多样回答 让人工标注哪个更好 训练奖励模型 （Reward Model） + PRO 优化 DPO ：Direct Preference Optimization

查询转换：让提问精准匹配知识库多查询重写：针对用户表述模糊思路：将原始输入转化为多个变体的问题查询 假设文档法( HyDE ) ：用户问题和知识库差异大思路：先生成一个理想的、假设的答案，然后将这个答案向量化后与知识库匹配，弥补了原始问题和真实答案之间的语义鸿沟 问题与应对：如果生成的假设文档和真实文档的匹配相似度低（比如：<0.7）,系统会触发“二次检索”，换一种方式再找一遍。 问题分解和回退：针对复杂问题和无直接答案思路：如果原始查询是一个太复杂或者知识库中没有具体答案的问题，系统不会放弃回答，而是“尝试拆解”大问题到小问题，或者“退一步”找个更宽泛的答案。 “退一步”找个更宽泛的答案，是因为前边的所有的提问都没法命中，一种兜底的策略。 分解策略选择表： 问题类型 策略 案例说明 多步骤推理 串行分解 “RAG流程？” -> 分解成“检索阶段”和“生成阶段” 跨领域问题 并行分解 “AI医疗应用？” -> 分解成 “AI技术”和“医疗应用” 细节查询失败 抽象回退 “特斯拉Q3财报？” -> 回退为“查找新能源企业财报？” ...

做向量的RAG肯定找不到工作，不为什么，就是过时了，Agent？那是人工智能编程的事。 如果你能把RAG+Agent结合，那肯定能找到工作！ 如何不用向量数据库也能做RAG？而是要用Agentic方法搞定了百万token文档检索…… 这大把公司要的，因为你都能自己出来单干了！！！！ 就说我之前调试一个法律文档检索系统。客户的合同有800多页，切记800多页！ 传统RAG的向量检索总是找不到关键条款——明明就在第523页的免责条款里，FAISS就是检索不出来。 搞了半天才发现，是文档分块把一个完整的条款切成了三段，向量相似度直接拉胯了。 这让我想起早前OpenAI悄悄更新的一个技术指南——他们居然说可以不用向量数据库做RAG。 刚看到的时候我是懵的，这不是反直觉吗？ 但仔细研究后发现，还真别说，这个叫Agentic RAG的方法确实有点东西。 并且现在很多大公司都是追求高质量，Agent+RAG算是个新东西，主要是效果好…… 尤其是专业领域，像法律、医疗、科技等等，全都需要…… RAG为什么不好？去年做一个医疗知识库项目时，光是调试embedding模型就花了两周。你能想象吗？同一...

随着AI智能体技术的快速发展，如何高效构建和管理多Agent系统成为开发者关注的焦点。本文将深入解析8种当前最受欢迎的LLM Agents开发框架，并详细演示如何为每种框架集成MCP Server，让你的智能体拥有强大的外部工具调用能力，本文上一篇文章的实操篇企业新基建：MCP + LLM + Agent架构，将打通AI Agent的“神经中枢”。 什么是MCP Server？MCP（Model Context Protocol）Server是一个标准化的工具接口协议，它允许AI Agent通过统一的方式调用各种外部工具和服务。无论是搜索引擎、数据库查询，还是API调用，MCP Server都能提供标准化的接入方式。MCP Server支持两种主要连接模式： Stdio模式：通过命令行进程通信，适合本地开发 SSE模式：通过HTTP连接，适合生产环境部署 OpenAI Agents SDK - 轻量级多Agent协作OpenAI Agents SDK是官方推出的轻量级框架，特别适合构建多Agent协作系统。 快速开始 123456789101112131415161718...

最近在做一个项目时，我需要让AI智能体能够直接与本地数据库进行交互。经过一番研究，发现Model Context Protocol（MCP）是个非常优雅的解决方案。今天就跟大家分享一下如何构建一个完全本地化的MCP客户端，让AI智能体能够智能地操作SQLite数据库。 什么是MCP？为什么选择它？MCP（Model Context Protocol）是一个标准化协议，专门用于AI应用程序与外部工具和数据源的连接。想象一下，如果AI智能体是一个万能助手，那么MCP就是它的”工具箱接口”，让它能够标准化地使用各种外部工具。 技术栈选择经过多次尝试，我选择了这样的技术栈： LlamaIndex：构建MCP智能体的核心框架 Ollama：本地运行Deepseek-R1模型 LightningAI：开发和托管环境 SQLite：作为演示的数据存储 整体工作流程 整个系统的运行逻辑其实很简单： 用户提交查询 智能体连接MCP服务器，发现可用工具 根据查询内容，智能体选择合适的工具 获取上下文信息并返回智能响应 代码实现详解构建SQLite MCP服务器首先，我们...

近年来，AI大模型席卷各行各业，我们感受到它强大的语言理解和生成能力。但在实际应用中，光“能说会道”还不够，更重要的是“能说还得能做”。大模型如何跨出文本世界，触达数据库、调用接口、执行代码？答案就是：MCP（Model Context Protocol）模型上下文协议。今天这篇文章，我们将详细解读 MCP 能做什么、它的工作原理以及它是如何打破大模型“只能说不能做”的边界。后面的文章中会分享Cursor等IDE中配置MCP服务器、Cherry Studio等支持MCP的聊天应用、MCP开发等系列文章。 MCP能干什么？从程序员到普通用户全面赋能对于程序员来说，MCP是效率工具集大成者，告别重复造轮子作为一个经常和各种开发工具打交道的人，我深知程序员们的痛点。MCP的出现，真的是解决了不少实际问题。 举例1：一条语音就完成全流程部署 只需说一句“部署新版本到测试环境”，MCP 会自动串联多个 API 工具： GitLab API 完成代码合并 Jenkins API 进行构建 Slack API 通知团队成员部署完成 这一切，不需要你亲自点开工具逐个操作，MCP 统...

这个学习计划分为四个阶段，每个阶段都有明确的学习目标和推荐的实践项目。 阶段一：基础奠定（4-6周） 目标： 掌握AI Agent开发的核心编程基础和基本概念。 课程 1：Python 高级编程与工程实践内容 异步编程（asyncio）、RESTful API 开发（FastAPI）、容器化（Docker）。 为什么重要？ 这是构建高效、可扩展 Agent 服务的基础。Agent 经常需要同时处理多个请求和外部 API 调用，异步编程是关键。FastAPI 和 Docker 则是将 Agent 服务化、可部署的必备工具。 实践项目 用 FastAPI 和 Docker 构建一个简单的 Web API，接收文本输入并返回处理结果。 课程 2：大语言模型（LLM）与提示工程（Prompt Engineering）内容 LLM 基本原理、提示工程技巧（如 Chain-of-Thought, ReAct）、OpenAI API 或其他开源 LLM API 的调用。 为什么重要？ LLM 是 Agent 的“大脑”。掌握提示工程，就是掌握了与这个“大脑”沟通的语言，能有效提升 Agent...

核心工作职责 AI Agent开发的核心是赋予AI“自主行动”能力，其职责贯穿设计、落地到运维的全生命周期 架构设计与优化 智能体架构搭建 基于LangChain、AutoGen等框架构建AI Agent，集成RAG（检索增强生成）技术实现知识检索，设计多智能体协作系统（MCP）处理复杂任务（如同时调用天气API、酒店预订工具）。 推理能力强化 ​ 通过思维链（Chain-of-Thought）和ReAct框架（推理+行动循环）提升AI的逻辑连贯性，利用强化学习（RLHF）优化模型在特定场景（如金融风控）中的决策准确性。 长期记忆与学习 构建向量数据库（如Milvus）存储历史数据，结合知识图谱（如Neo4j）实现跨项目经验复用。 业务场景落地 工具集成与API开发 将AI Agent嵌入企业系统（如CRM、ERP），通过RESTful API或gRPC与外部服务交互（如调用高德地图规划路线）。 性能优化 采用分布式架构（Kubernetes）应对高并发场景，通过模型量化（INT8）和缓存机制降低延迟。 安全合规 设计数据脱敏流程，确保AI决策符合伦理规范（...