1、首先，在微信上开小号的前提是要有一个正常账号。登录微信后，进入“设置”界面，点击“新建小号”即可开通小号。
2、然后根据不同的使用场景来决定该小号的交流方式以及相应的token数量。如果是作为客服功能或者是投票功能，则建议将token数量调低；如果是情感对话或者多人会话时则建议将token数量保留至一定金额。
3、对于性能问题考虑，也要注意平衡好tokens与回应时间之间的关系。例如在仿真中选择一定金钱来衡量bot执行性能时，tokens不要过大也不要过少；考虑分批处理时根据实际情况来决定tokens数量大小以避免出现因tokens太多造成本应快速回应却耗时操作的情况。
4、此外还有一部分已存储在redis中的对话历史由历代AI/NLP产生, 如何有效使用这部分已存储历代AI/NLP产生的对话历史呢? 首先, 进行相似性匹配. 对redis中存储的历代AI/NLP产生 的对话历 咪, 核心思想是: 字片断——>embedding——>cosine similarity——>ranking. embedding 把文章映射成vector space; cosine similarity 由 vector space 电子化; ranking 选出top-k score 最大者. 这样, AI bot 在response query 时, 首先读出 top-k score 最大者(eg 5), 然后难道 response query (eg 6); 进而 token 天氣hong kong ——>(5)天氣上海 ——>(6).
5、此外也要注意不含义上下文之间的区别以便促使bot理解query并更好地generate response. 例如: token ‘五子士'(5) ——->response ‘五子士'(6); token '五子士武器'(7) ——->response '五子士武噤"(8).
6、当然, 虽然次方法能带来 tokens reducement , 但也会遭遇 quality reduction . 此时 , 针对 quality reduction , 本人建立 retraining mechanism : when accuracy rate of reesponse is lower than a certain value (eg 0.85), the model will go through retraining process to improve its performance and accuracy rate of reesponse will increase again in a short time frame.
7、此外, 我们还要注意 bot behavior control . Bot behavior control can help us to control the quantity of tokens used while ensuring that the conversation remains at an acceptable level of quality and fluency as well as preventing it from becoming too long or too complex for users to understand or follow along with easily. This involves establishing rules regarding which topics are allowed during conversations and setting limits on how many topics can be discussed simultaneously before switching back to another topic or ending the conversation completely if necessary.
