pocketpal手机本地部署

PocketPal 是一款可以在手机上本地运行开源语言模型的软件，支持离线对话和模型切换。用户可以在设备上完成模型下载、加载和参数设置，对话内容在本地处理。

软件功能

离线 AI 协助：语言模型直接在设备上运行，无需互联网连接。

模型灵活性：可下载并在多个 SLM 之间切换，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。

Auto Offload/Load：应用在后台运行时，通过卸载模型来自动管理内存。

推理设置：可自定义模型参数，如系统提示词、温度、BOS 令牌和聊天模板。

实时性能指标：在 AI 生成回复期间，查看每秒令牌数和每个令牌的毫秒数。

使用教程

1、可在 App 中直接下载模型，下载时需要连接互联网。

2、例如可以下载谷歌的 Gemma 模型、阿里通义千问的 Qwen 模型等。

3、对于其他模型（如 DeepSeek），点击右下角的添加按钮，把手机中已下载好的模型加载进来即可。

4、模型加载并完成设置后，可进入设置界面进行相关设置，之后即可进行离线对话等操作。

离线聊天与本地处理

软件支持在设备上与 AI 模型交互，无需互联网连接；对话均在本地处理，数据保留在设备上。此外，可在手机上对模型性能进行基准测试，并与社区分享测试结果。

关于中描述的说明

原始介绍中多次提到“完全离线”与“隐私安全”，同时也说明下载模型和与社区分享基准测试结果需要联网；未说明这些联网操作是否涉及对话数据，此处不作推断。