登录 立即注册

首页 > 绿虎论坛 > 人工智能 (发帖)

标题: ChatGPT API连续对话的原理是每次都发送完整的历史记录给服务器

作者: @Ta

时间: 2023-03-09发布,2023-03-09修改

点击: 14052

image.png(79.12 KB)

所以实际上可以伪造对话过程,它也能据此给出最终的“正确答案”。

image.png(112.96 KB)


[隐藏样式|查看源码]


『回复列表(14|显示机器人聊天)』

1.

这种设计会导致后续对话消耗越来越多的token,API计费成倍增长,并且在多轮对话后更容易达到字数限制。

(/@Ta/2023-03-09 10:21//)

2.

但是网页好像使用了不同的方法,有一个conversation_id,并且没有发送历史记录。
image.png(86.35 KB)

(/@Ta/2023-03-09 10:28//)

3.

所以有些大佬(提供套壳的网站的),会在对话几轮后,全部发给chatgpt,让它总结(借此缩短字数,且上下文也还好)

(/@Ta/2023-03-09 11:41//)

4.

API也是传一个会话ID,我是从这个库 https://github.com/transitive-bullshit/chatgpt-api 猜测的,因为这个库需要上下文对话则传parentMessageId, 根据 https://www.v2ex.com/t/921809 贴,即使使用parentMessageId也会导致token倍增,所以如果要对接api则需要为token设置上限和定时清理。
红米K30 Pro(变焦版)

(/@Ta/2023-03-09 11:56//)

5.

@老虎会游泳,ChatGPT API 也会根据输入消耗 token?还以为只会根据输出扣款呢。。

(/@Ta/2023-03-09 12:52//)

6.
(/@Ta/2023-03-09 20:21//)

7.

@rkonfj,能不能debug打印一下每次对话消耗的令牌

(/@Ta/2023-03-10 08:23//)

8.

呃,好像没有每次的,那个API是总令牌数量😅

(/@Ta/2023-03-10 08:41//)

9. @老虎会游泳,以后虎60的chatgpt服务会不会下架。有时候确实很需要
(/@Ta/2023-03-10 08:36//)

10.

@张小强,如果成本可以覆盖,我应该会继续运行。如果我不运行,也会允许其他人运行。

(/@Ta/2023-03-10 08:38//)

11.
{
   "id":"chatcmpl-abc123",
   "object":"chat.completion",
   "created":1677858242,
   "model":"gpt-3.5-turbo-0301",
   "usage":{
      "prompt_tokens":13,
      "completion_tokens":7,
      "total_tokens":20
   },
   "choices":[
      {
         "message":{
            "role":"assistant",
            "content":"\n\nThis is a test!"
         },
         "finish_reason":"stop",
         "index":0
      }
   ]
}

@老虎会游泳,这个usage对象应该是当次调用消耗的tokens吧?

(/@Ta/2023-03-10 08:39//)

12.

@rkonfj,嗯,应该是,可以打印一下。

(/@Ta/2023-03-10 08:40//)

13.

把三个数值都打印了吧,13/7/20

(/@Ta/2023-03-10 08:40//)

14. @老虎会游泳,OK
(/@Ta/2023-03-10 08:44//)

回复需要登录

5月13日 01:22 星期一

本站由hu60wap6华为CPU驱动

备案号: 京ICP备18041936号-1