日志
不会用Docker的小伙伴可以加苯苯tg群,有时间可以帮你搭建;自备VPS和远程软件todesk、向日葵或parsec即可。没VPS的可以在这里选一台。
- 2024-08-29:新增LobeHub服务器版的安装教程,支持跨平台保存聊天、私人知识库等高级功能。
- 2024-08-07:1. 新增
gpt-4o-2024-08-06
模型。OpenAI在其API中引入结构化输出。能力全方位提升,ZeroEval基准测试直接跃居第一。输入价格为2.5美元/100万token,输出价格为10美元/100万token,输入和输出分别节省50%、33%。token输出扩展到16k,而此前仅支持4k。Bensz建议:作为gpt-4o
或Claude 3.5 Sonnet
等进阶模型的平替。gpt-4o-min
定位为低端模型,生态位暂不受影响。 2. 更新模型设置
教程,可以自定义图片或文件上传功能。详见教程的“设置LobeChat——添加模型——模型设置”小节。 - 2024-07-19:新增
gpt-4o-min
模型,OpenAI新一代入门级别人工智能「小模型」。GPT-4o mini 上下文窗口依然是 12.8 万个 Tokens,知识截止日期为 2023 年 10 月。 API 价格将会是 15 美分/100 万 Tokens 输入,以及 60 美分/100 万 Tokens 输出,比 GPT-4o 便宜 96%-97%,比 GPT-3.5 Turbo 便宜 60%-70%。 - 2024-06-23:新增
Claude 3.5 Sonnet
模型的说明和安装示范。详见设置LobeChat——添加模型——Anthropic
主题。
概述
Lobe Chat是一个流行的开源大语言模型(LLM)UI框架,支持与LLM的多种交互。基础界面如下:
LobeChat在Github上Star数很多,是一个颇受欢迎的开源项目:
我选择LobeChat的原因:
- 项目更新较活跃,对于新的模型或新的特性支持速度较快
- 支持语音合成、多模式和可扩展(函数调用)插件系统
- 可以通过Docker私人布署
- 配合OhMyGPT等LLM API服务商,在token计费、可用模型方面有较好的拓展性。
根据数据托管的位置不同,LobeChat有本地版或服务器版。我的推荐如下:
- 本地版:安装简单、功能简单,建议小白尝鲜使用
- 服务器版:功能强大、安装复杂,建议老手长期使用
LobeChat更新的频率很高。如有必要,可以使用watchtower(详见“Docker系列 配置Docker全局环境 – 自动更新容器镜像”)之类的方案设置自动更新。
目前,LobeChat官方推出了 LobeChat Cloud, 已经开启 Beta 版测试。LobeChat Cloud的最大好处就是支持数据库同步,这对于有多用户管理或者对对话信息/设置的跨设备要求较高的用户可能是有益的。但它并不是免费的,可能大多数基础用户并不会选择它 (~ ̄▽ ̄)~
安装LobeChat本地版
测试平台
uname -a # Linux ZGO1 5.15.0-116-generic #126-Ubuntu SMP Mon Jul 1 10:14:24 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux
docker --version # Docker version 24.0.5, build ced0996
docker-compose --version Docker # Compose version v2.4.1
准备工作
work=/docker/lobechat && mkdir -p $work && cd $work
配置yml文件
不了解docker的小伙伴请先看:《Docker系列 配置Docker全局环境》;《Docker系列 了解Docker Compose的配置文件》。
新建文件:
vim docker-compose.yml
加入以下内容:
services:
lobe-chat:
restart: always
ports:
- 3210:3210
environment:
ACCESS_CODE: QfQgDqyyyyyyyyyyyyyyyyyyyy
API_KEY_SELECT_MODE: turn
container_name: lobe-chat
image: LobeChat/lobe-chat
其中,这里的QfQgDqyyyyyyyyyyyyyyyyyyyy
是初次访问时需要的密钥。这是为了防止知道网址的人可以任意使用LobeChat。
NPM设置
不了解Nginx Proxy Manager用法的小伙伴,请看《Docker系列 两大神器NPM和ddns-go的安装》。这里,只要反向代理端口3210
即可。本教程中,假设你反代的地址是https://lobechat.hwb0307.com
。
安装LobeChat服务器版
参考官方文档 通过 Docker Compose 部署 LobeChat。本流程所用随机密码可能较多,建议了解《Docker系列 搭建密码管理应用bitwarden》。
获取API
自从自己的OpenAI被封禁后,为了省事,我选择了第3方LLMs API服务商——OhMyGPT,也是一些朋友介绍的。我和几个同事凑的VIP套餐,日常使用是足够的:
OhMyGPT支持多种LLM的API,而且对新模型的支持速度很快,具体见“OhMyGPT支持的模型”。
目前用起来感觉还行,开发者也蛮活跃的。使用中有啥问题我也会跟进并在此文更新的,大家有什么意见也可以在评论区留言 (~ ̄▽ ̄)~
设置LobeChat
所有的设置都是修改即生效
解锁LobeChat
仅限LobeHub本地版
不是所有知道域名https://lobechat.hwb0307.com
的人都可以使用,需要先解锁一下。如上面的docker-compose.yml
文件内容,密码是QfQgDqyyyyyyyyyyyyyyyyyyyy
。
API信息
以OhMyGPT为例
- OpenAI API Key:
sk-xxx
粘贴上去即可。 - API代理地址:
https://apic.ohmygpt.com/v1
(中国大陆的小伙伴推荐https://aigptx.top/v1
,网络会稳定些)。有其它镜像地址,但一般这样也够了。其它可用地址包括:https://cn2us02.opapi.win/v1
、https://cfwus02.opapi.win/v1
、https://cfcus02.opapi.win/v1
. - 使用客户端请求模式:一般不要选。如果你无法正常使用API,且本地电脑有代理软件,可以尝试打开该按钮。
- 模型列表:详见
添加模型
小节。
添加模型
OpenAI
进入应用设置——语言模型——OpenAI
里面。一般添加OpenAI的模型就够了:
可以直接点选:
也可以直接复制OhMyGPT支持的模型名称(详见获取API
小节)加进去:
Anthropic
近日(2024/06/21),Anthropic 最新发布了 Claude 3.5 Sonnet ,这是他们迄今为止最智能的大模型,超越了竞争对手的 GPT4o。该模型提高了智能水平,在各项基准评估中表现优异,同时保持了运行速度和成本的平衡。Claude 3.5 Sonnet已经在 Claude.ai 和 Claude iOS 应用上免费提供,同时也可通过 Anthropic API 和亚马逊云科技 Bedrock 使用。该模型在推理、阅读理解、数学、科学和编码等方面表现出色,是处理复杂任务的理想选择。此外,Claude 3.5 Sonnet在视觉推理任务中也表现出色,超越了前代模型。Anthropic 还推出了Artifacts功能,扩展了用户与Claude的交互方式,为团队协作提供了新可能性。最后,Anthropic对模型进行了严格的安全评估,并将其分类为AI安全等级2,以确保不会造成灾难性风险。下面咱们来演示一下如何在LobeChat里添加Claude 3.5 Sonnet。
首先,进入语言模型
界面,下滑到Anthropic
系列:
内容格式如下:
- API Key:
sk-xxx
样的字符串 - API代理地址:
https://apic.ohmygpt.com
- 使用客户端请求模式:禁用
- 模型列表:最新版的Preview已经更新了
Claude 3.5 Sonnet
,直接使用即可。
最后检查一下连能性,没问题就可以了。这里我演示一下如何使用Claude 3.5 Sonnet
模型;其实和其它模型类似啦:
更多阅读
模型设置
LobeChat可以定义每个模型的功能。一些类似gpt-4o
的进阶模型可能支持图片、文件上传等功能,有需要的小伙伴可以将其功能打开:
比如,这里可以正常使用新模型gpt-4o-2024-08-06
的图片功能:
基本使用
选择一个模型使用即可:
也可以新建一个列表。每个列表可以有多个话题:
每个列表本质上就是一个预先写好的Prompt,自己也可以修改:
这些Prompt其实都是在插件市场里直接添加的:
其它更多功能我就不一一展示了,自己摸索吧 (ฅ´ω`ฅ)
默认助手
我们可以进入应用设置——默认助手
里设置,可以根据自己的习惯设置一些参数。我觉得最实用的设置是聊天设置
和模型设置
,这里可以设置会话消息限制、默认模型之类的参数。
导出配置
大家可以按需导出配置:
然后保存在安全的地方(因为里面会包含你的API信息)。如果你以后使用了一个新设备,或者清空了浏览器缓存,则可以导入配置
快速使用之前的配置。这个配置在IOS端、iPad端等都是适用的。
LobeChat的app
移动端仅展示IOS版本
LobeChat在电脑上、手机上都可以当作一个软件/app来使用。
如果你使用电脑浏览器访问,而且你的电脑还没安装好LobeChat,它会提示你是否安装桌面版本。PC版LobeChat本质上是一个浏览器应用:
如果你是iOS用户,只需要用Safari浏览器访问 https://lobechat.hwb0307.com
,点击分享,然后选择添加到主屏幕
即可:
值得一提的是,LobeChat是一个基于Typescript的Web应用,因此跨设备的能力比较强一些。在移动互联网的兴起的时代,这种开发方式是比较流行的。
使用技巧
日常使用
我个人比较常用的有gpt-4o-min
、gpt-4o
、claude-3-sonnet
。gpt-4o-min
是一个初阶模型,但大部分任务都可以胜任。如果gpt-4o-min
的答案不够好,我会尝试一下gpt-4o
、claude-3-sonnet
。
我日常使用LobeChat的基本布局如下:
从上图也可以看出,我使用大模型的方式还是比较简单、传统的。对我而言,这样已经可以满足大部分工作和学习需求。
省钱小技巧 – 会话消息限制
每个对话的默认状态下是不限历史消息次数的:
这就意味着每问一个新问题,LobeChat会把历史消息全作为输入;这会产生滚雪球式效应,导致token用量大大增加,因此费用会较高。
大多数情况下我们只是需要1问1答。如果你不需要连续对话,你应该设置一个限制,这样会比较节省token。只需这样:
默认限制是1
条,你也可以根据自己的需要设置更高的数字。比如10
,每次新的提问会将前10次对话的问与答都纳入为该新提问题的输入。
小结
LobeChat本地版安装挺简单,但服务器版还是蛮复杂的。以后有什么使用小技巧会继续分享给大家的!
---------------
完结,撒花!如果您点一下广告,可以养活苯苯😍😍😍