LLM

llm related archieves

[TOC] 前言 由于买的这个阿里云ECS是最低配的（2核1G内存），小落同学的后台进程经常会被莫名奇妙的杀掉，因此拟给加个看门狗保护下。整个保护分成两部分：1）进程检测脚本：watchdog.sh2）将检测脚本加入crontab 具体步骤如下。 进程检测脚本：watchdog.sh 利用一个配置文件，将小落同学绑定的端口及进程启动脚本在配置文件里配置好。然后再用一个脚本去telnet这个端口，若telnet成功，说明进程还活着，否则就是进程没了，需调用启动脚本进行启动。 配置文件 小落同学总共有两个进程，分别是backend和frontend，各使用8000端口和3000端口。文件名：watchdog.list 脚本内容 文件名：watchdog.sh 将检测脚本加入crontab 查看下当前cronjob列表。 查看命令 结果 加入小落同学相关的进程监控脚本 用crontab -e编辑，并加入小落同学相关的进程监控脚本，并将其设置为每分钟都检测一下。 查看当前back-end进程情况 返回8000端口进程情况 手动杀进程，看看能不能恢复？ 杀进程后，等一会儿再看看进程有没有重新启来？ 其它 查看crond的日志 crond的日志默认应该是在/var/log/cron里若是进程没启动起来的话，可以看下crond的日志，看看可能是什么原因 项目运行环境切换 1）conda环境切换：由于我给小落同学后台项目专门搞了一个虚拟环境，手动启动的时候都是先手动conda activate xiaoluo来切换一个环境，然后再去执行启动小落同学，但这个在crontab里写起来比较麻烦，因此将相关的环境切换移到start_backend.sh，并在这个脚本里去启动小落同学后台。2）npm环境切换：小落同学的前台其实也是类似，小落同学的前台的npm版本也是一个比较比较老的版本（v16.14.2），启动前需要nvm use v16.14.2切换一下npm版本，相关的处理都不放到crontab里，而转移到一个专门的启动脚本：start_frontend.sh。

给小落同学后台加个进程保护

 in LLM / Technical / TechTip中文  tagged watchdog / 小落同学 by
前言 由于用默认的langchain agent碰到各种action识别错误，action input解析错误的问题，听说这个langsmith可以让我调试、测试、评估和监控基于任何 LLM 框架构建的链和智能代理的全流程。特地来学习了解一下。 注册langsmith 官网地址：https://smith.langchain.com/看到可以直接用Discord、GitHub、Google账号登录（也可以用自己邮箱注册），于是直接用github账号注册登录。 获取API 登录进去后在Personal页的右上角有一个Create API Key，点击后可创建一个API KeyAPI Key分两种：Personal Access KeyService Key我各创建了一个：Personal Access Key: lsv2_pt_706834b28bf6477a9f69ab9b81021c77_cbd33ac54bServiceKey: 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 设置环境变量 Linux：export LANGCHAIN_TRACING_V2=trueexport LANGCHAIN_ENDPOINT=”https://api.smith.langchain.com“export LANGCHAIN_API_KEY=”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”export LANGCHAIN_PROJECT=”langchain_for_llm_application_development” Windows：setx LANGCHAIN_TRACING_V2 truesetx LANGCHAIN_ENDPOINT “https://api.smith.langchain.com“setx LANGCHAIN_API_KEY lsv2_pt_706834b28bf6477a9f69ab9b81021c77_cbd33ac54bsetx LANGCHAIN_PROJECT langchain_for_llm_application_development 其中：LANGCHAIN_TRACING_V2: 设置LangChain是否开启日志跟踪模式。LANGCHAIN_PROJECT: 跟踪项目的名称。如果LangSmith上还没有这个项目，会自动创建。如果不设置这个环境变量，会把相关信息写到default项目。LANGCHAIN_API_KEY: 你在前面申请生成的LangSmith的API key。 设置好环境变量就可以了，代码无需任何变动！完全没有侵入性的感觉真好。当然，如果要较真的话，引入LangChain的时候代码就已经侵入了，但是我们本来就要用LangChain，那就不用管这个了。 使用 初始化smith ”’pythondef initSmith(self):try:from dotenv import load_dotenvload_dotenv(find_dotenv()) ”’ […]

langsmith使用

 in LLM / TechTip中文  tagged langchain / langsmith / 小落同学 by
langchain的tools经常会说：“提供的日程查询工具帮助较小，我将直接回答。” 问题现象 我加了好几个tools，希望可以在langchain的agent框架下实现一些自定义的功能，但是在实际运行过程中langchain的tools经常会说：“提供的日程查询工具帮助较小，我将直接回答。” 结论 问题分析定位的过程又臭又长，为省流直接上结论：修改调整你的prompt，以适配LLM（不同的LLM的结果不一样，如果想产品化你需要盯着一个LLM引擎自行调整prompt来适配）。 问题分析 原始请求： {‘method’: ‘post’, ‘url’: ‘/chat/completions’, ‘files’: None, ‘json_data’:{‘messages’:[{‘role’: ‘user’, ‘content’: ‘Answer the following questions as best you can.You have access to the following tools:\n\npython_executor: 此工具用于执行传入的 Python 代码片段，并返回执行结果\nScheduleAdder: 用于设置日程,使用的时候需要接受3个参数，第1个参数是时间,第2个参数是循环规则（如:\’1000100\’代表星期一和星期五循环，\’0000000\’代表不循环），第3个参数代表要执行的事项,如：(\’15:15\’, \’0000001\’, \’提醒主人叫咖啡\’)\nweather: 此工具用于获取天气预报信息，需传入英文的城市名，参数格式：Guangzhou\nCheckSensor: 此工具用于查询会议室内各种IoT设备在线状态、传感器数据、设备开关状态\nSwitch: 此工具用于控制空调、投影、窗帘、灯、终端、暖气、投屏器的开关，参数格式:(“空调”,”on”),返回True为成功\nKnowledge: 此工具用于查询XX视讯视频会议系统的专业知识，使用时请传入相关问题作为参数，例如：“XXX硬终端支持H.265+RTC的会议吗”\nScheduleDBQuery: 用于查询所有日程，返回的数据里包含3个参数:时间、循环规则（如:\’1000100\’代表星期一和星期五循环，\’0000000\’代表不循环）、执行的事项\nScheduleDBDelete: 用于删除某一个日程，接受任务id作为参数，如：2\nGetSwitchLog: 此工具用于查询会议室内的IoT设备开关当天的操作历史记录\ngetOnRunLinkage: 此工具用于查询会议室内的IoT设备当前在运行的联动，以及温度、湿度、烟感等的环境监控\nWebPageRetriever: 专门用于通过Bing搜索API快速检索和获取与特定查询词条相关的网页信息。使用 时请传入需要查询的关键词作为参数。\nWebPageScraper: 此工具用于获取网页内容，使用时请传入需要查询的网页地址作为参数，如：https://www.baidu.com/。\nKnowledgeBaseResponder: 此工具用于连接本地知识库获取问题答案，使用时请传入相关问题作为参数 ，例如：“草莓最适合的生长温度”\nMeetingScheduler: 用于预约会议,使用的时候需要接受4个参数,第1个参数是时间,第2个参数是循环规则（如:\’1000100\’代表星期一和星期五循环，\’0000000\’代表不循环），第3个参数代表要执行的事项,第4个参数代表需要参 […]

langchain的tools经常会说：“提供的日程查询工具帮助较小，我将直接回答。”

 in LLM  tagged agent / langchain by
[TOC] 一、前言 1。我的Django APP（omserver）有在settings.py里启用csrf_token middleware 2。在我的所有form里都有加{% csrf_token %}标签代码里有两种方式的POST，1）有form: 直接将整个form serialize()，然后 ajax submit 2）没有form: 3。在开发环境跑所有功能都OK。 4。开发环境和部署环境的一个差别1）开发环境访问后台是直接连接后台的django地址：http://localhost:8000/omserver2）部署环境访问后台是跟前端共用了一个域名：https://x.rg4.net ，然后这个域名再通过nginx反向代码分别跳转到前台(http://localhost:3000）和后台(http://localhost:8000/omserver） 二、各种尝试 尝试1：怀疑是不是过nginx后，cookie丢失？nginx反向路由加一些头 结果：没用，403依旧。 尝试2：怀疑csrf token没传到django？在我的app里加一个 middleware，拦截所有的request，并将其内容打出来以确认 django有没有收到前端传过来的csrf token 1）先在我的app omserver下创建一个middleware.py，然后加入以下代码 2）将这个middleware加入到settings.py 结果：django有收到前端传过来的csrf token，但就是403 这里打印出来的csrfmiddlewaretoken值，与我在前面javascript ajax post时打印出来的值是一毛一样的，为什么报错？ 尝试3：分析csrf.py代码，将校验过程打印出来 1）拿到检验错误原因为：{“detail”:”CSRF Failed: Origin checking failed – https://x.rg4.net does not match any trusted origins.”}2）重新修改settings.py，将前面禁用掉的csrf middleware重新打开 同时在settings.py里加入 这个时候报错变成了 注：中间有碰到一个新问题，刷新前端界面报错 […]

[未解决]将xiaoluo-3d部署到公网后，出现所有POST都报403错误

 in LLM / Technical  tagged django by
周末去看了一下视源股份的这个领效智会大模型，初步收集了一下情况，日后若有时间再来具体了解一下。 一、官网：https://www.maxhub.com/max_ai/ 二、赋了什么能？ 跟所有人一样，希望可以将智能覆盖到视频会议的会前、会中、会后全流程，没看出来有什么新意。 三、对比分析 技术维度 １．功能 单纯从MaxHub的介绍来看，简单对比一下，咱们缺失了计划了５年、但一直没实施的智能运维关联功能，但是多IoT控制，但这是产品定位不同所致。 从网上可以搜到的领效智会大模型的相关介绍里，看不出来其后端的具体情况，但是我们在ASR之后做了许多的“后处理”工作，包括：会议摘要、会议总结、方言、会议关键字、纠错、标点、语气词过滤等等，并且都是独立于ASR引擎的，无论是用讯飞的引擎、阿里的引擎、思必驰的引擎，还是其他的，都适用。但是在MaxHub的这个领效智会大模型的介绍里看不出来他们的任何情况。 ２．指标 说再多的功能，没有实际的体验都白扯。MaxHub宣称可以试用，但是上去看了一下，我不具备资格，XD试用（失败）：本次试用活动适用于已购MAXHUB 会议平板用户【搭载Windows 模块的五、六代经典Pro、视讯系列、科技系列、未来款】请确认是否为以上用户 四、结语 由于公开的信息相当有限，并且无法获得内测资格，因此所有信息仅停留在表面。看看后面有没有机会来实际体验一下，重点的重点是：这，到底是一个大模型？还是一个ASR（附加一些其他的零零碎碎的智能功能）？这关乎路线。

简单了解视源股份领效智会大模型

 in LLM / TechTip中文  tagged MAXHUB / 视源股份 / 视频会议 by
来源：https://www.toutiao.com/article/7275667716328161846/ 作者：刘锋 2022年11月份以来，以ChatGPT为代表的大模型成为世界数字科技领域的新热点。在ChatGPT上线的2个月内，其月活用户已经突破1亿，在不到一年时间里全球的大模型数量已经超过百个，从全球已经发布的大模型分布来看，中美两国数量合计占全球总数的超 80%，据不完全统计，到2023年7月中国 10 亿参数规模以上的大模型已发布 79 个。 8月31日,国内首批八家大模型通过《生成式人工智能服务管理暂行办法》备案,包括百度、智谱、百川、字节、商汤、中科院(紫东太初)、MiniMax、上海人工智能实验室等8个企业/机构的大模型可正式上线面向公众提供服务。其中当天开放的文心一言等大模型。据百度官方平台数据显示，24小时内文心一言回答网友超3342万个问题。 一般而言，大模型(Large Language Models)指的是包含超大规模参数的神经网络模型。大模型通常能够学习到更细微的模式和规律，具有更强的泛化能力和表达能力。大模型代表了AI和深度学习在自然语言处理领域的最新进展。目前在机器翻译、语言理解、聊天机器人、图像识别，图像视频生成、语音识别、语音合成，推荐系统等等领域都获得了革命性的进步。 微软公司创始人比尔·盖茨公开表示，自1980年首次看到图形用户界面以来，以GPT为代表的大模型模型是他所见过的最具革命性的技术进步。对于大模型未来的产业发展趋势和面临的挑战究竟如何，我们将从三个方面进行探讨。 一．人类种群知识库从外化、索引化到智能化的三部曲 我们在《崛起的超级智能:互联网大脑如何影响科技未来》一书中提出，生物的竞争本质上是种群知识库的的竞争。在过去的几亿年里，恐龙因为灭绝导致种群知识库消失为0，鲨鱼一直保持在海洋中游荡，种群知识库没有发生大的变化，熊猫因为趋于灭绝从而种群知识库不断萎缩。 只有人类在近200万年里，在知识和智慧上不断扩展和加速，在最近数百年里随着蒸汽机、工业革命、核能的出现。人类种群知识库出现了巨大的增长。特别是互联网的诞生后，第一次将人类的种群知识库外化成一个基于网络的庞大知识库，通过万维网的发明进一步促使人类种群知识库急剧扩容。表现在科技领域就是21世纪大量新科技新概念不断涌现。 面对海量的互联网公共知识，如何索引就成了人类必须解决的重要课题，因此到20世纪90年代，搜索引擎出现了蓬勃发展，其中优秀和典型的代表分别是谷歌和百度。它们成长背后的推动力也是人类种群知识库发展的必然要求。 在互联网知识库被索引之后，如何智能化也就成为了一个重要议题。在过去的近30年里，以谷歌、百度为代表的搜索引擎公司加大了将互联网知识库进行智能化的步伐，人工智能的兴起也于此有密切的关系。在国内过去的近10年时间里，百度通过百度大脑、小度、自动驾驶等产品不断推动人工智能的产业化应用。 2022年OpenAI的Chatgpt成功引发了大模型的兴起，标志着互联网这个外化的人类种群知识库完成了从索引化到智能化的转变。但不能忘记的是，OpenAI Chatgpt的成功离不开谷歌提出的Transformer注意力机制模型，也离不开微软通过Bing搜索引擎提供的海量数据和巨大资金支持。在中国，2019年百度推出了文心大模型，并在2023年在国内率先推出了大模型消费级产品-文心一言，并与其搜索引擎做了深度结合，另一家中国搜索引擎公司奇虎360也在2023年推出了大模型产品360智脑，搜狗创始人王小川建立的百川智能成为中国首批通过审核的大模型之一，它们在各项评测中都取得了不俗的成果。 从搜索引擎的发展看，通过激烈的竞争，搜索引擎最终形成了若干个巨头公司为人类提供互联网海量数据的索引服务，同样我们认为作为搜索引擎的升级版，人类社会也不需要很多大模型提供同质的服务。包括搜索引擎、大数据、社交网络等领域拥有优质大数据、人工智能技术积累和广泛应用场景的巨头或创业公司，在大模型的产业竞争中将具有更强的竞争力，并在未来的竞争中脱颖而出一家或若干家为人类提供集中统一的智能服务。 二．行业垂直大模型建设思路：继续提升通用大模型智能水平 应该指出，当前，人类社会对大模型充满了热情，特别在中国，很多人希望大模型能够与金融、法律、工业、农业、电力、建筑等等行业领域结合，从而实现弯道超车，但我们必须考虑大模型的特点，需要在大模型的垂直化和行业化过程中保持谨慎。 大模型的成功并不仅仅是参数量大，而是用大规模预训练+微调的方式，对海量的跨领域知识进行学习时涌现出来新的能力，而且这些新的能力往往与创新有关，如翻译，创作文章，创作图像、编写诗歌，编写程序等，然而这种创新能力在工作时产生的结果并不稳定，会出现“幻觉”和胡编乱造的情况。同时由于神经网络本身的特点，其内部运行机制的可解释性问题也一直没有解决，因此对于需要精密控制或精确结果的产业领域，大模型并不是可靠的工具和技术。 另外一个误区，认为用大模型的训练方法加上行业产业的大数据就可以形成高质量的行业大模型。这个观点并不符合大模型涌现出创新能力的规律，过于单一领域的知识反而会降低大模型的涌现出新能力的水平，导致无法有效应用到行业产业中。因此应继续提高Chatgpt，文心一言、Llama、智谱、百川等等通用大模型的智能水平，通过这些通用大模型平台与其他可靠性高的人工智能技术协同工作，并与各个行业结合，这种路径要比建设专门的行业大模型更为稳健和有效。 三．值得期待的大模型未来 当然，大模型并不是人工智能的全部，也不是数字科技的全部，它只是其中一个当前活跃的重要技术和产品。应避免大数据热时，一切皆大数据；元宇宙热时，一切皆元宇宙；大模型热时，一切皆大模型，大模型需要与其他技术和产品结合才能发挥更大的作用。 大模型的不断发展和与其他技术产品结合的过程将是持续探索和尝试的过程。无论如何，大模型的出现的确是一个革命性的突破，有很多科学家认同Chatgpt等大模型已经可以突破图灵测试，未来在智能和意识的基础原理上也将带来更多突破性的启发。 在产业应用上，大模型与其他不同类型的人工智能技术、网络技术、大数据技术结合，与不同的办公、学习、生产、生活结合会持续产生出具有非凡想象力的应用。例如微软办公Office 接入GPT-4，百度利用文心一言重构包括搜索、文库、如流、智能云等业务产品。未来还会发生怎样的革命性变化，我们还需要耐心等待大模型的持续发育和成长，毕竟它还是一个出生来到全人类面前还不到1年的婴儿，（从以ChatGPT3.5为代表的大模型大规模向人类提供服务算起）。 (作者：刘锋，中国科学院虚拟经济与数据科学研究中心研究组成员，中科数字大脑研究院院长、中国指挥与控制学会城市大脑专委会副主任兼秘书长)

刘锋：大模型的产业未来发展趋势与挑战

 in LLM / News  tagged LLM / 大模型 by
一个行业小白如何快速进入、了解、掌握、深入一个新的行业？ 前麦肯锡合伙人、高管冯唐，刚到麦肯锡上任的时候，发现一个奇怪的现象：一个行业小白，近乎一张白纸，20多岁，却能在很短的时间，成为某个行业的专家，甚至拿着近100万咨询费，给这个行业的老资格管理者传授经验。他深入观察这个情况，并将其总结成3条秘笈。 对于想要快速了解一个新行业的人来说，按照这3个秘笈去做，也能迅速成为行业顶尖！1）总结行业的100个关键词；2）找三五个专家，咨询了解各种行业问题；3）如果仍然存在困惑，再找三五本行业专业书籍，仔细阅读并找出共性。 直接问 Q： 如何用 ChatGPT + 麦肯锡方法论洞察一个行业A：使用 ChatGPT 和麦肯锡方法论来洞察一个行业，可以按照以下步骤进行：收集数据：首先需要收集关于该行业的数据，包括市场研究、行业报告、新闻报道等。这些数据可以帮助了解该行业的现状、趋势和竞争情况。分析数据：对收集的数据进行分析，可以使用 ChatGPT 来生成自然语言文本，对数据进行描述和解释。同时，可以使用麦肯锡方法论中的市场研究、竞争分析、消费者行为分析等方法来分析数据，以深入了解该行业。提出建议：根据分析结果，提出建议，包括对该行业的未来发展的看法、建议行业内企业采取的行动等。总结：最后，可以使用 ChatGPT 和麦肯锡方法论来总结分析结果，并提出建议，以帮助该行业更好地发展。使用 ChatGPT 和麦肯锡方法论来洞察一个行业需要综合运用自然语言生成、麦肯锡方法论和市场研究等方法，以深入了解该行业，并提出有价值的建议。 照冯唐的秘笈走 第一个Prompt： Q：我是一个小白，想要快速了解[零售行业]，请帮我整理出这个行业最重要的50个关键词，请注意：这些关键词尽可能涵盖行业的不同方面。 零售行业( retail industry)消费者需求( consumer demand)商品种类( goods variety)商品质量( product quality)价格( price)营销策略( marketing strategy)购物体验( shopping experience)物流( logistics)竞争对手( competitors)品牌( brand)消费者行为( consumer behavior)消费者偏好( consumer preferences)消费者预算( consumer budget)消费者需求变化( consumer demand changes)消费者购买习惯( consumer purchasing habits)消费者满意度( consumer […]

跟着冯唐走：如何进入一个全新的行业，从小白到专家的速成手册

 in LLM by