大模型的有效上下文窗口是比理论上下文窗口要小很多的,甚至可能只有 10~20%。这里的有效上下文窗口,影响的是大模型需要深入理解的思考任务。对于大海捞针的检索任务,理论上下文是可以完成任务的。另外,模型对首尾的信息敏感度更高。Paper AI Tigers Effective Context Window