北条麻妃作品 特有学问库 腹地300种模子一键部署,巧妙性拉满!国产器具太绝了
发现指摘区许多一又友的使用场景对巧妙性要求很高北条麻妃作品,但愿能全链路(包括大模子)腹地部署,通盘RAG过程完全在内网,这么时间保证数据安全。
图片北条麻妃作品
图片
图片
图片
天然腹地学问库 大模子API 也还算安全,但由于RAG的经过是阐发问题检索相关本色算作坎坷文,连同问题一都发送给大模子。是以通过API汉典调用大模子,表面上如实是存在数据浮现风险的。
我为什么一直没出:腹地学问库 腹地大模子的著述呢?
主若是腹地部署大模子,并得到大模子API较为繁琐,对小白很不友好。况且还需要科学上网,不然模子下载速率巨慢。
可是这两天不测中发现了一个国产开源器具--AingDesk
它天然是最近刚开源的一个式样,现在Star唯有635,但如实有不少惊艳到我的地点(况且完万能自立劲众的需求)。
Github地址:https://github.com/aingdesk/AingDesk
CNB地址:https://cnb.cool/aingdesk/AingDesk
图片
优点主要有:
1.开源,免费,无畛域;
2.无需极端装配ollama,复旧腹地模子一键装配(就点一下,等着下载好就ok了),况且不需要科学上网,下载速率速即~
3.复旧联网、学问库的文献上传复旧险些所有边幅,莫得复杂的建树,但是学问库检索相称准确;
4.器具复旧windows、mac一键装配,同期也复旧docker部署;
5.搭建好的智能体还可以一键共享给家东说念主、一又友、共事使用。
好了,不啰嗦了,咱们径直开整!
AingDesk搭建巧妙学问库接下来咱们将在腹地搭建一个完全巧妙的学问库
学问库、说话模子、索引模子透中用腹地的,此次是真实不联网也完全可以用了,再也毋庸惦念数据浮现~
友情教唆:本期器具毋庸docker部署,下载后一键装配。
领先径直去官网下载aingdesk:https://www.aingdesk.com/zh/
图片
如下图,建树要求可以说相称低了。
图片
选拔合适的平台进行下载。
图片
接下来等于傻瓜式装配
图片
装配好之后双击掀开
点击左下角【腹地模子】,有300个模子供你挑选,包含带视觉功能的模子,索引模子,复旧器具调用的模子。看中哪款,点击装配就行。
图片
以致可以一键装配满血版的DeepSeek...(天然,一样复旧最强32B模子QWQ)
图片
接下来咱们搭建学问库(需要索引模子,说话模子),我的电脑建树不高
我的电脑建树:显卡-8G显存的3060TI,CPU-AMD Ryzen 7 5800X 8-Core 3.80 GHz,内存-32G
腹地大模子主要已经吃显存,教大家一个选拔顺应本机模子的门径:
模子所需显存大小≈模子大小×1.2
大说话模子,我选拔qwen2.5:14b(如下图 大小是9G)
9×1.2=10.8G,是以运行qwen2.5:14b所需的显存大要是10.8G,我的显存大小唯有8G,但已经对付可以跑起来,只不外输出略微慢一些。
图片
索引模子我选拔beg-m3:567m
图片
看这模子下载速率:134MB/s,我莫得开魔法上网(对国内用户相称友好)
图片
模子已备好,接下来咱们启动搭建学问库
图片
创建学问库,镶嵌模子选拔刚刚下载的beg-m3:567m
图片
伦理电影在线观看上传文献,这里复旧险些所有文献类型(咱们先试试公众号著述pdf)
19个pdf文献大要1分半科罚终了
图片
创建智能体(现在终点于一个教唆词模板)
图片
保存之后,选拔刚刚新建的智能体,参加对话
右下角学问库->选拔刚刚创建好的学问库。
图片
经过测试,发现小模子内部还得是qwen蒸馏出来的deepseek-r1模子牛逼。
回答的没啥谬误,等于不够耀眼。
学问库检索准确度相称高,但是思要回话的本色更准确,已经得用更强的说话模子,腹地有条目最佳上QWQ:32b
图片
从下图中可以看出,上传的pdf被贯通成markdown边幅文献了,贯通出来的本色已经挺准确的。
图片
接着,我又测试了一下Excel边幅的文献
问答效力也挺可以,Excel亦然贯通成了markdown边幅
图片
图片
试了一下,上传图片到学问库,发现现在图片贯通还不太行
图片
图片
它的学问库,我体验下来,创建和使用都相称通俗,检索的准确度以致可以比好意思fastgpt了,况且复旧险些所有的文献边幅(都是把文献贯通成markdown)
腹地索引模子 径直上小参数目的beg-m3:567m,检索效力就很好了,瓶颈在说话模子上。腹地算力够的一又友推选径直上QWQ:32b。
建树第三方模子API以硅基流动为例
点击第三方模子API->硅基流动->建树apikey->保存API
底下会自动搜索出模子。
图片
说真话,用上头的腹地8b、14b的小参数说话模子测试,回答效力如实一般
但换成硅基的DeepSeek V3满血版之后,熟练的嗅觉又归来了,回答的既准确,又耀眼。
PS:索引模子已经没变,已经之前建树的腹地索引模子:beg-m3:567m
图片
联网搜索诞生->默许搜索引擎,透顶是国内搜索,也都是免费调用(对国内用户来说相称友好了)
测试一个问题:搜索本日热门AI资讯
会联网搜索10条本色算作参考
日历25年3月26,正确,况且今天刚好出了Mureka O1音乐大模子,给出的热门也完全没谬误。
图片
一键共享 本站仅提供存储干事,所有本色均由用户发布,如发现存害或侵权本色,请点击举报。