微软
微软计画让个人版及企业版Bing Chat聊天机器人的查询输入字元上限,由现行的4,000字元提高一倍来到8,000字元,但说碍於成本问题,可能没法那麽快。
Bing Chat今年初推出时,一开始只要回覆问题超过15次就会表现出异常行为,像是和用户冲突或出现过激语气,迫使微软很快就缩减用户问答次数及输入字元数。随着它表现稳定後,微软逐步放宽Bing Chat和用户对谈输入内容。目前Windows用户一次可向Bing Chat询问20个问题,以及4,000字元。7月上线的企业版Bing Chat也具有相同限制。
本周微软搜寻部门Mikhail Parakhin回覆一名Bing Chat企业版用户的要求时,表示微软计画扩增Windows消费版及企业版Bing Chat的输入字元上限,由4,000字元增加为8,000字元(Chrome版Bing Chat输入上限则是2,000字元),但是得再等一段时日。原因是演算法会造成context空间需求以次方增加,因此字元扩增为2倍会让Bing Chat营运成本增加为4倍。
虽然微软绝对会实践其承诺,但现实是营运聊天机器人相当耗资源。营运AI聊天机器人的伺服器不但相当耗能,也牵涉更高的冷却成本;根据《财星杂志》引述一份加州大学研究指出,使用者在微软Bing Chat或ChatGPT等聊天机器人每次查询一次散发的伺服器热气,都耗掉1瓶水。微软的资料显示,由於AI系统使用量大增,导致该公司2022年全球资料中心用水量比前一年激增34%。
这些庞大开支对新创公司更是一大考验。研究机构估计OpenAI的ChatGPT一天营运成本高达70万美元,要不是有微软的资金挹注,可能明年就会破产。