为什么落格智聊以 token 为单位收费?
落格智聊使用 OpenAI 的 GPT-3.5-turbo (GPT-4o)以及 Anthropic 的 Claude 模型进行处理,他们的 API 就是以 token 为单位进行收费的,所以由于上游的收费机制如此,我们也使用了相同的收费模式。
什么是 Token?
基本上一个 Token 就是一个字,有一些字可能需要两个 Token 组合编码。Token 这个东西你可以理解为一个数字,通过这种方式编码后的内容 GPT 模型才能理解,而 GPT 模型生成的内容,也需要通过对应的 Token 解码才能变成人类能懂的文字。
GPT 3.5 和 GPT 4o 有什么区别?
3.5 和 4o 都是 OpenAI 的大语言模型,截至目前, 4o 是最先进的版本。两者相比,3.5 在速度和价格上更胜一步,便宜,且快速!不过在推导能力方面,4o有显著的进步。另外 4o 支持更长的上下文支持,长达 128000 token,而 3.5 则只能支持 4000 多。
另外由于 GPT 4o 模型体积更大,运算时需要的资源也更多,所以目前 4o 回答的速度没有 3.5 快,相比而言,3.5 则支持每分钟 30 万次提问。(注意,这里的提问次数,是全局次数,而不是每个用户的次数。)
落格智聊都能做什么?纯聊天吗?
大概……是。不过,它和传统的聊天机器人不同。因为它的背后是大型语言模型,所以它可以“理解”并对文字内容进行处理,除了对话,讲故事,生成文本内容(写作文、写信、写诗写歌)外,还能翻译、修饰润色分析总结等等等等……
当然,还有一些有意思的操作比如假装是一个终端模拟器,假装是输入法,把你的逻辑直接生成代码,给你一个关于xx项目的创意点子等等。
总之,你把它想象成一个真实的网友,能通过文字聊天交代的文字处理任务,这个“网友”基本都能完成。
⚠️ 注意,由于 GPT-3.5-turbo (GPT-4o)是一个离线模型,所以最新的新闻资料等是没有的,你问了它就会编造。所以,对于一些严肃的事实,请不要轻易相信它的一面之词,要做好事实验证。
用中文和英文提问有区别吗?
有。
GPT 是一个大型语言模型,它是由网络公开文本内容训练而来的。网上没有的信息,它就不知道。网上少的信息,它给出的答案就不准。比起英语,中文的互联网内容相对较少,所以当使用中文提问时,GPT 给出答案的准确度、速度、完善程度都会相对降低。所以如果可能,请尽量使用英文提问从而获得更高质量,更准确的结果。就算你英语不好,它也足够聪明从而理解你的意思,包括语法错误,拼写错误等等。(当然你也可以先让落格智聊帮你把你的中文问题翻译成英文,然后再在新的会话中用英文提问……)
落格智聊宣传的联网功能是怎么实现的?
GPT 是一个离线语言模型,它本身是不能主动去联网的(不然天网时代就来临了)。每当你开启一个新的会话(对于移动端和 Tg Bot 来说,就是清空会话历史后的第一个提问),落格智聊都会做一个额外的检查,即这个问题是否涉及到事实信息,比如xxx的定义这类,如果是,那么模型就会生成相关的搜索词去谷歌搜索一下,我们会把谷歌搜索的前三条结果的标题和简介加入到历史记录当中,这样当 GPT 进行回复时,就有了参考,通常来说,大部分问题就都不会进行编造了。由于这个操作要给聊天历史注入搜索结果,如果每一条消息都这么去处理就很浪费点数,当然意义也不是特别大。所以我们只有在每个会话的第一个问题时才这么做,搜索的结果会一直保存给 GPT 使用,这样一来即使后续你进行了更深入的提问,它也有一定概率正确作答。
⚠️ 注意,尽管我们尽可能地让 GPT 模型回答的更准确,但这并不能掩盖它其实是基于语义生成内容的事实,所以必要的话,还请自定验证,不可单独依赖 AI 给出的任何答案。
为什么有的问题短但消耗点数更多?
消耗的点数并不取决模型单次回答的长度,而是本次会话中,你发送的以及模型回答的消息总数。落格智聊是支持上下文的,而每一次发送消息,本次会话中的所有历史记录都会一并输入,以便模型回忆起之前的内容。
怎么才能节省点数?
每一次发消息,落格智聊都会将本次会话中所有的历史记录作为输入传给模型。这就导致上下文越多,每一次回答的成本就越高。模型处理最大可达 4096 (GPT-4o 是 128000 ) 个 token,粗略计算的话,就是 0.08 点数了。所以尽量每一个会话保持同一个话题,不同的话题没有必要保持上下文。实际上,绝大多数时候,单次询问就足以得到正确答案了。
单个会话的历史长度有限制吗?
有,上文提到模型单次处理的文本最大长度是 4096(GPT-4o 是 128000 ) 个 Token,事实上换算成文字可能不足 4000 字,所以整个会话的所有文字加起来最多差不多 4000 字就是一个会话所能支持的最大长度了。当然,这并不是说这个会话就不能再继续了,如果达到了这个限制,落格智聊会自动抛弃最早的历史数据以使请求符合模型限制。
我的聊天记录存在哪里?
- 网页端:你的聊天记录存储在你当前浏览器的本地存储里。同时还有你登录的 Token 等等,如果你清除浏览器存储,那这些数据就会被一并清除。当然,当你向落格智聊提问时,你当前会话的所有历史记录包括新的提问都会发给落格工作室的服务器,但这些数据并不会存储在工作室的服务器中,它们会被立即转发到 OpenAI 的 GPT 模型 API, 当得到模型的回复后,这些数据也会立即返回给客户端。落格工作室的服务器仅做转发和记录 Token 数量进行计费。
- 移动端和桌面端,基本与网页端相同,只是聊天记录是存在 App 本地存储而不是浏览器缓存。
- Telegram Bot 端:你的聊天记录会被【明文】存储在落格工作室账号下的亚马逊云 DynamoDB 数据库中,最多会保留 30 条(目前的设定,将来可能动态增多或者减少)消息记录,包括你发送的以及模型回复的消息,以便于你在发送消息后作为历史消息传递给模型。我们强烈建议你在提问结束后使用 /clear 命令来清空后台历史记录,即保护隐私,也能节省点数消耗,还能方便下次提问。
我的账号信息安全吗?
安全。请放心我们并没有明文存储你的密码 :)
实际上,你的账号信息根本就不在落格工作室的数据库中。它们存储于美国区亚马逊云 Cognito 服务中,当你通过这个服务认证并登录后,会获得一个 JWT token,每当请求落格工作室的服务器时,落格工作室的服务器也会去 Cognito 服务进行校验,这就完美地保护了你的账号隐私。
你的网站、客户端和后台都是用什么实现的?安全吗?
- 网站:使用 React 开发,部署在亚马逊云的对象存储容器中,使用亚马逊云的 CloudFront 服务进行分发。
- 服务器:后台则是 Flask,使用 Gunicorn 运行,并使用 Caddy 进行反向代理,运行在亚马逊云的 Lightsail VPS 上。数据则存储在亚马逊云的 DynamoDB 服务中,整个后台服务器是无状态的。
- Telegram Bot:服务器同时也在运行 Telegram Bot,使用的是 web hook 回调。
- 桌面客户端:使用 Electron 技术封装 React App 实现。
- 移动客户端:使用 Ionic Capacitor 技术封装 React App 实现。
为什么有时候落格智聊说一半就停了?
OpenAI 的 API 有时候就会这样,这种情况更容易出现在网络质量差的时候,技术细节是 “ChunkEncodingError” 目前上游框架还在积极讨论解决方案。所以在有上游解决方案之前,落格智聊会提前结束避免报错,当你遇到这种突兀的结束时,只需要发个“继续”,“continue”,模型就会根据历史数据继续生成未完成的结果了。
落格智聊有移动端 app 吗?
这个可以有 :) 落格智聊支持 macOS iOS ChromeOS Windows Linux Android 客户端,请移步 https://im.logcg.com/chat-ai 下载。
当然,你也可以用手机浏览器打开落格智聊 https://chat-ai.logcg.com,iOS 使用 Safari,打开后点分享,点添加到 Home 界面。这样当你从 Home 界面打开落格智聊时,它就是 App 了。这个技术叫做 PWA,可以让支持的 Web App 像本地 App 一样地运行。
Android 使用 Chrome based 任何浏览器,打开后点菜单,应该会有一个安装 App 的选项,点击后就可以正常安装了。同样是 PWA 技术,不占空间,绿色环保。
⚠️ 注意,移动端和 Tg Bot 端一样,不支持多个会话切换。
Telegram Bot 都支持哪些功能?
相比网页版,Telegram Bot 有一个独占的功能,就是编辑历史消息中的某一条(前提是你没有清空当前会话),从而让模型重新生成答案。
- 网页版和客户端支持代码高亮,Bot 不支持。
- 网页版和客户端支持多个会话切换,Bot 不支持。
- 网页版和客户端本地存储消息记录,Bot 消息记录会同步存储在后台服务器。
- 网页版和客户端不支持编辑历史消息,Bot 可以编辑历史消息重新生成答案(清除了后台记录就不行了)。
落格智聊可以提供 API 接入吗?
落格智聊是支持 API 接入的,不过当你使用 API 接入时,落格智聊的高级功能,比如联网搜索机制和内置的 prompt 都不会生效,一切以客户端发来的配置为准。这么做是为了提升和各种客户端的兼容性。
落格智聊的 API 都支持哪些客户端?
理论上任何第三方 GPT 客户端,只要支持自定义域名,就可以接入。目前已知支持的客户端有(以确认支持时间排序,包括但不限于):
- OpenCat
- Bob 第三方 GPT 翻译插件
- AMA
- BlenderGPT
- Better ChatGPT
- Bob 官方 GPT 翻译插件
有什么使用例子吗?
- xxx用英语怎么说?
- (简单的数学计算)
- 12美元是多少人民币?
- 咖啡渣可以当肥料吗?
- 用 Python 写一个 helloworld 例子
- 我想要一个 Rust 程序,这个程序读取一个csv文件并在“value”一栏加20然后输出。
- 我的代码调用的 xxx 框架,但调用 xxx() 的时候报错 error:xxx,可能是什么原因造成的?– 有解决办法吗?– 能详细说说例子中代码的意思吗?
- 我女儿要过7岁生日了,有什么庆祝的点子吗?
- 用兔子、乌龟、和鸟写一个笑话
- 我有一个xxx产品,帮我写一个推广文案。 — 改成用小红书的风格,用 emoji 表情
- 由于xxx原因,我们的物流要延迟了,请用英文写一封邮件给客户,语气委婉一些。
- 帮我写一封信……
- 这是我写的申请信,你帮我润色一下,内容是:……
- 我现在很难过,你能和我聊聊吗?
- 这篇文章的大意是什么?
- ……