前言： 之前已经在本地跑通了LangChain的Demo项目了，接下来要改造成LangGraph，首先分析一下langGraph的几大优势点： 我的个人总结： 1、从线性管道到状态机节点（类似从二维升级到了三维，单线程变成多线程） 2、控制流变成循环、分支，比原先的单向高级了 3、容错性变强、支持回

前言： 简单聊一下使用LangChain的一些心得，个人感觉就是操作大模型调用自己的向量数据库，然后触发自定义工具包的一个生产框架，主要包括RAG（向量数据库）和Agent(工具包）两部分核心组成。 RAG一般来源于企业生产中的文档资料，需要转换成大模型识别的向量数据库，一般要先把Word\Exce

站在中小企业的视角，自研私有化大模型的核心诉求从来不是极致高并发、超大参数量模型集群，而是低成本采购、单人可运维、稳定支撑日常业务问答、文档摘要、内部知识库检索这类轻量化场景。 市面上很多算力教程都是面向互联网大厂、AI 实验室撰写，动辄多卡分布式、A100/H100 专业算力卡，完全脱离中小团队的

做大模型应用，最容易被忽视但最致命的问题就是 Token 爆炸。很多项目原型跑得很好，一上线就崩，不是模型不行，而是上下文直接撑爆。 固定做 5 件事，基本能把 Token 压到原来的 1/3 甚至更少。 第一，历史对话必须截断。没有人需要无限长的上下文，保留最近 5～10 轮足够。 第二，系统提示

在做大模型接口时，最开始用的是同步写法。图快、图简单，写起来顺手，但一压测就立刻暴露问题：只要一个请求慢，整个接口全部卡住。 大模型推理本身就慢，几秒钟甚至十几秒都很正常。同步模式下，一个请求占住一个线程，后面的请求全部排队，用户体验极差，服务器资源也浪费。 全面切换到异步架构，核心就是 FastA

在私有化大模型项目里，想要实现类似 ChatGPT 逐字输出的流式效果，绝大多数人都会选择 SSE 方案。前后端框架集成看起来简单，但真正部署到公网环境后，各类隐性问题会陆续暴露：前端经常莫名断连、模型生成到一半数据流中断、部分网络环境下完全收不到推送内容。过去一段时间，我在三个不同的项目中都碰到同

下元九运（2024–2043年），酉山卯向（辛山乙向）起飞星盘，运盘九紫入中，山星七赤、向星二黑入中逆飞。震宫（正东）向方飞临山星九紫、向星九紫，构成九运经典的“双星会向”格局，且正东恰逢九运之“零神位”。 正东（9、9）： 此方为双星会向且临零神大吉之位，山主人丁水管财。因山星与向星同聚震宫，在形

天地玄黄，阴阳相生。 任何人做任何事，都是个人的选择，没有好坏之分，但只要做出选择，就要坦然接受结果。 你选择踏上青云路，便要承受高处不胜寒的孤寂与风霜；你选择隐于市井间，便要甘于柴米油盐的平淡与沉沦。选择求名，便要解开名缰利锁的束缚；选择求真，便要耐得住无人问津的冷清。每一条路，都是一颗被投下水面

3、异步升级思路： Python环境加入Redis： pip install redis 使用AioRedis消除线程阻塞，配合FastAPI 实现高并发，Nginx禁用缓冲及超长等待，Python加入心跳保活，前端防止SSE响应并加入重连 2、代码升级：</

1、前置准备： Python环境： Conda python3.10.20 Python包基础依赖： fastapi==0.109.0 uvicorn==0.27.0 pika==1.3.2 pydantic==2.5.3 pydantic-settings==2.1.0 RabbitMQ 环境：