Glass - “数字思维扩展”(Digital Mind Extension)
发表于:2025-09-12 15:23:12浏览:22次
好的,这是对 pickle-com/glass
项目 README 内容的详细总结:
项目概览
Glass 是一个由 Pickle 公司开发的开源桌面应用程序,定位为“数字思维扩展”(Digital Mind Extension)。它旨在作为用户与计算机交互的智能辅助工具,通过实时分析屏幕内容和音频,为用户提供上下文感知的帮助,并将信息转化为结构化的知识。
核心特性与价值主张
智能与实时:
- 实时感知:应用程序能够“看到”用户屏幕上的内容并“听到”系统及麦克风音频。
- 上下文理解:利用这些信息理解用户当前的工作环境和上下文。
- 知识结构化:自动将捕获的瞬间(如会议、工作内容)转化为有用的、可检索的知识。
专注于会议效率:
- 在会议中能主动提供帮助,实时生成会议纪要、行动项摘要,并能即时回答问题。
隐私与无干扰设计:
- 真正隐形:强调隐私保护,声称不会出现在屏幕录制、截图或系统 Dock 栏中,并承诺没有持续的隐藏捕获或分享。
开源与轻量:
- 项目完全开源,强调快速和轻量级。
技术实现与支持
- 技术栈:基于 Electron 框架(从移除 Electron Forge 的提交和
electron-builder.yml
文件可知),结合了 Web 技术和原生能力。使用 Firebase 作为后端(包含firebase.json
和firestore.indexes.json
)。 AI 服务支持:
- Cloud LLMs:支持 OpenAI、Gemini 和 Claude 的 API。
- Local LLMs:支持通过 Ollama 在本地运行大模型。
- 语音转文本(STT):支持多种 STT 服务,最近添加了 Deepgram。并且致力于优化体验,如为 STT 服务添加了保活机制和转录会话续期。
- 音频处理:集成了一个名为 AEC(Acoustic Echo Cancellation)的 Rust 子模块,用于分离麦克风和系统音频,提升音频处理质量。
数据存储:正在进行从
electron-store
到集中式数据库(很可能是 Firestore)的迁移,以实现更好的数据管理。
获取与安装
- 即时启动(macOS):提供预构建的 macOS 应用程序下载,用户无需自己构建。
- 本地构建(快速开始):
- 前提条件:要求使用 Node.js 20.x.x 版本以避免原生依赖项的构建错误。
- 安装命令:使用
npm run setup
即可完成安装。 - 多平台支持:支持 macOS(包括 Intel 和 Apple Silicon)和 Windows(Beta 版)。
用户操作
- 键盘快捷键:
Ctrl/Cmd + \
:显示/隐藏主窗口。Ctrl/Cmd + Enter
:基于之前的屏幕和音频内容向 AI 提问。Ctrl/Cmd + Arrows
:移动主窗口位置。- 还提到了快捷键编辑功能(Beta 版)。
项目状态与社区
- 活跃开发中:项目处于非常活跃的开发阶段,最近几乎每天都有提交和功能更新。
近期更新亮点(截至 2025 年 7 月):
- 添加了对 Gemini、Claude、本地 LLM (Ollama) 和本地 STT (Whisper) 的支持。
- 完成了大规模的代码重构和模块化(#125),改善了项目结构。
- 修复了关键问题,如防止日志中的令牌泄漏(#53)和 30 分钟超时问题(#148)。
- 改进了音频处理(AEC)和 Windows 支持。
- 正在开发全新的“Liquid Glass”用户界面。
欢迎贡献:项目鼓励社区贡献,提供了贡献指南(
CONTRIBUTING.md
)和问题模板。- 起步建议:为新手贡献者标记了“Help Wanted”的问题列表,这些问题的范围相对有限,是熟悉项目的好方法。
- 当前工作重点:完成代码重构后,将着手处理主要问题。一个重要的进行中任务(WIP)是开发“Liquid Glass”UI。
背景:该项目是
CheatingDaddy
的一个分支,并对其进行了修改和增强。作者感谢了开源贡献者。
公司背景
Glass 是 Pickle 公司产品路线图的第一步。该公司的宏伟使命是“为每个人构建一个活的数字克隆体”。Glass 的目标是创建一个可信的数据管道,将用户的日常数据转化为一个可扩展的“克隆体”基础。更多信息可以访问 pickle.com
。
总结:Glass 是一个处于快速迭代开发中的、野心勃勃的开源项目。它试图成为一个深度集成于用户工作流、以隐私安全为重心的桌面AI助手,尤其专注于提升会议和知识管理效率。它支持多种主流和本地AI模型,并积极构建开发者社区。