这篇著作美女教师，我们来玩点花的！
放在几年前念念玩NAS，一块J1900 J4125就能得志百分之八九十的需求了。
但放在今天各家国产厂商贬抑在nas上卷树立，n5105这类平台放在咫尺市集上说真话王人仍是算是有点过时了，我们玩家关于NAS的需求亦然越来越高。从一入手的存储、配合、下载、费力拜访这类相比基础的功能，到咫尺王人在玩的影视干事、docker容器、凭空机多样千般的软件干事王人念念塞进一台小小的NAS里。
不错说巴不得用着低功耗U，干着志强的活是吧
那我们这篇著作，来整点能统统榨干NAS性能的活！在NAS中部署大讲话模子，取得一个遍地随时的个东说念主问答助手
为什么选定NAS部署大讲话模子那其实好多小伙伴相比猜疑，为什么要选定NAS来部署呢？用我方的PC部署不可么？
使用NAS部署主要如故因为这类引诱是7x24持续绝地运行，念念要用的时候径直插足webui界面就行。然而PC部署的话，若是你能罗致你的电脑不关机运行其实亦然莫得问题的。
另外部署在NAS中，运算啥的王人是在土产货进行，不错灵验保护个东说念主逃匿安全。
同期也莫得在线AI那样严格的审查机制。就拿问答大模子刚出来那会儿，闻明的“奶奶误差”，咫尺使用在线AI基本上问不出来秘钥了。
然而若是使用较早少量的问答模子，如故能问出来秘钥的。
致使在一些版块的模子中，不需要借助奶奶的神力，径直问就能生成一串秘钥。
固然你念念问点颜面的片子也不是不可昂。不外在线的大模子这类“不太正当”的东西基本上就别念念了。念念要体验一下“完好”大讲话模子的小伙伴，不妨不错随着我们在土产货部署一下。
念念要在土产货部署大讲话模子，领先便是需要一台性能强悍的NAS引诱，这里我们演示的引诱是来自极空间的家用旗舰NAS Z423，搭载了挪动端锐龙5825U处理器，出厂自带32G内存，这个树立在咫尺制品NAS中算得上特殊强悍了！
部署流程这一次部署我们给与docker容器部署Ollama美女教师，底下来看到详备的树立流程
掀开Docker，镜像，仓库，自界说拉取，输入这一滑代码ghcr.io/open-webui/open-webui:ollama。这个镜像相比大，拉取的技艺相比长，我个东说念主提倡在晚上休眠的时候拉，这么一觉睡起来就拉取好了。我这里拉完花了五六个小时（晕
拉取完镜像，双击镜像入手部署容器，在基本成立处认真取消勾选性能规则，调用核显不错勾选（骨子测试勾选跟不勾选调用核显，对CPU的占用区分不大
接下来成立文献夹映射，文献夹旅途处按照图中映射两个文献夹即可
临了成立一下端标语，土产货端口填一个莫得被占用的，容器端口默许就好了。
径直点应用 完成容器的部署，在容器能够处恭候透露平时就施展镜像平时运行了。
底下掀开浏览器，输入极空间的IP + :端标语，就能插足webui界面。首次使用需要成立下贬责员账号以及密码。那由于我们这个是统统土产货运行的，是以这里的注册也不需要邮箱考据，整一个我方相比好记的密码就好。
那需要认果然是，在这个界面运转变时创建的是贬责员账号。
若是若是创建其他用户账号，需要插足到成立内创建或者掀开这个允许创建用户的开关。
进来后不错看到所有这个词的界面便是汉文的，若是你的界面不是汉文的，在成立处将讲话蜕变成汉文即可。
固然咫尺这个界面进行发问，是不会有任何回应的，因为我们仅仅部署好了docker镜像，还莫得部署问答模子。接下来我们来看模子的部署。
模子的选定
在咫尺的汉文大模子中，名步骤一的开源大模子应该便是通义千问Qwen2.5了，该模子包含了0.5B~72B的不同规格。
这里施展注解下这个B是什么意思意思，在部署流程中，这个B代表的便是使用引诱的内存。比如0.5B，代表至少需要0.5GB的内存才略运行，32B则代表最少需要32B的内存。若是内存太小，在部署模子的时候，则会出现报错。
这里我们演示就使用qwen2.5 7B，相对来说回应速率也快，同期对性能条款也不算高。
我们这使用SSH部署模子的程序，在Docker容器能够界面，点击SSH，我们这部署Qwen2.5 7B，就径直输入Ollama run qwen2.5 7B，恭候拉取部署完成。
若是你念念部署其它的模子，也不错插足ollama，找一些我方念念要部署的模子，比如我们搜索meta的llama3，选定模子的参数，将侧边的敕令行，输入到容器的SSH中就会自动拉取部署了
恭候SSH中透露success就示意部署完成，咫尺不错径直在末端中径直发问，固然也能插足webui界面进行发问。
插足webui界面，在左上方选定模子，念念用哪个就径直选定谁就行。我们这里演示千问，模子的选定处就选定qwen就好。
发问的问题方面，我们以我方的骨子使用情况演示下，比如查一些CPU的参数，就能掌握问答大模子快速获取谜底。
那像我们还作念视频，随机候需要筹办一个剧本，然而没啥好的灵感，这时候也能掌握问答大模子取得一些不同的灵感。
此外皮应用平凡的代码施展注解方面，我们也测试了下，除了能给出代码，还能及时展现编译出来的界面，不错说功能上特殊深广了。
其他方面就靠群众的念念象力了
在运行的时候，我们掀开程度监控看下，这个CPU占用如故相比高的。
在webui界面，还提供有下载选项，在侧边也不错选定将其下载下来，情状不错选定JSON、TXT、PDF。
那有的小伙伴会有疑问，念念要在外网下使用大模子是不是还要搞穿透反代之类的，这里十分推选极空间自带的这个费力拜访功能，只需要在费力拜访内输入内网引诱的IP以及端口，在外网下就能径直拜访，不需要反代，特殊的便捷。那这里我们输入webui的ip+端标语，这么在外网环境下也能拜访家中NAS运行大模子了。
勾引porn那么好了，以上便是本篇著作的一齐内容啦~诸君小伙伴也不错自行部署起来望望哦。
让我们下篇著作
重逢~美女教师