Skip to main content

通过提前预热，优化大模型分析文章的速度体验

Feature Request

现在读书经常会遇到章节加载分析的过程浪费时间，比如使用某些较慢的api，甚至需要30-60秒， 太影响用户体验了。所以提出以下两个方案：

方案1：每次提前预热1-2个章节，这样用户读书是一直没有卡顿的。

方案2：增加全书后台预热分析的选项

Posted by li mo ·
Status: Completed3 comments

Log in to comment and vote

Comments3

  • Shellming

    Team•

    Feb 3, 2025

    有一个临时解决方案，手动快速从第一章翻到最后一章，然后等一段时间（模拟预热过程），确保全部都总结完成。后续会增加预热功能

    • li mo

      •

      Feb 6, 2025

      后台离线预热的话, 使用某些模型服务商的非实时batch调用服务再加上全局内容缓存似乎可以更省钱.

      • Shellming

        Team•

        Feb 6, 2025

        目前技术栈不支持离线任务