ChatGPT API连续对话的原理是每次都发送完整的历史记录给服务器

老虎会游泳

@Ta 2023-03-09发布，2023-03-09修改 23585点击

image.png（79.12 KB）

所以实际上可以伪造对话过程，它也能据此给出最终的“正确答案”。

image.png（112.96 KB）

隐藏样式查看源码

回复列表(16|隐藏机器人聊天)

1

老虎会游泳

@Ta / 2023-03-09 / 样 / 源

这种设计会导致后续对话消耗越来越多的token，API计费成倍增长，并且在多轮对话后更容易达到字数限制。
2

老虎会游泳

@Ta / 2023-03-09 / 样 / 源

但是网页好像使用了不同的方法，有一个conversation_id，并且没有发送历史记录。
3

无道

@Ta / 2023-03-09 / 样 / 源

所以有些大佬（提供套壳的网站的），会在对话几轮后，全部发给chatgpt，让它总结（借此缩短字数，且上下文也还好）
4

Curtion

@Ta / 2023-03-09 / 样 / 源

API也是传一个会话ID，我是从这个库 https://github.com/transitive-bullshit/chatgpt-api 猜测的，因为这个库需要上下文对话则传parentMessageId, 根据 https://www.v2ex.com/t/921809 贴，即使使用parentMessageId也会导致token倍增，所以如果要对接api则需要为token设置上限和定时清理。
红米K30 Pro(变焦版)
5

无名啊

@Ta / 2023-03-09 / 样 / 源

@老虎会游泳，ChatGPT API 也会根据输入消耗 token？还以为只会根据输出扣款呢。。
6

老虎会游泳

@Ta / 2023-03-09 / 样 / 源

@无名啊，https://platform.openai.com/docs/guides/chat/introduction
7

老虎会游泳

@Ta / 2023-03-10 / 样 / 源

@nzdwlm，能不能debug打印一下每次对话消耗的令牌
8

老虎会游泳

@Ta / 2023-03-10 / 样 / 源

~~呃，好像没有每次的，那个API是总令牌数量😅~~
9

张小强

@Ta / 2023-03-10 / 样 / 源

@老虎会游泳，以后虎60的chatgpt服务会不会下架。有时候确实很需要
10

老虎会游泳

@Ta / 2023-03-10 / 样 / 源

@张小强，如果成本可以覆盖，我应该会继续运行。如果我不运行，也会允许其他人运行。

nzdwlm

@Ta / 2023-03-10 / 样 / 源

{
   "id":"chatcmpl-abc123",
   "object":"chat.completion",
   "created":1677858242,
   "model":"gpt-3.5-turbo-0301",
   "usage":{
      "prompt_tokens":13,
      "completion_tokens":7,
      "total_tokens":20
   },
   "choices":[
      {
         "message":{
            "role":"assistant",
            "content":"\n\nThis is a test!"
         },
         "finish_reason":"stop",
         "index":0
      }
   ]
}

@老虎会游泳，这个usage对象应该是当次调用消耗的tokens吧？

12

老虎会游泳

@Ta / 2023-03-10 / 样 / 源

@nzdwlm，嗯，应该是，可以打印一下。
13

老虎会游泳

@Ta / 2023-03-10 / 样 / 源

把三个数值都打印了吧，13/7/20
14

nzdwlm

@Ta / 2023-03-10 / 样 / 源

@老虎会游泳，OK
15

清滢泪

@Ta / 2023-03-10 / 样 / 源
被锁定

楼主 @老虎会游泳于 2023-05-04 09:36 删除了该楼层，理由如下：
无关回复
16

ChatGPT

@Ta / 2023-03-10 / 样 / 源
被锁定

楼主 @老虎会游泳于 2023-05-04 09:36 删除了该楼层，理由如下：
无关回复

添加新回复

回复需要登录。