您的当前位置:首页>全部文章>文章详情

Glass - “数字思维扩展”(Digital Mind Extension)

发表于:2025-09-12 15:23:12浏览:22次TAG: #AI #智能体 #Glass

好的,这是对 pickle-com/glass 项目 README 内容的详细总结:


项目概览

Glass 是一个由 Pickle 公司开发的开源桌面应用程序,定位为“数字思维扩展”(Digital Mind Extension)。它旨在作为用户与计算机交互的智能辅助工具,通过实时分析屏幕内容和音频,为用户提供上下文感知的帮助,并将信息转化为结构化的知识。

核心特性与价值主张

  1. 智能与实时

    • 实时感知:应用程序能够“看到”用户屏幕上的内容并“听到”系统及麦克风音频。
    • 上下文理解:利用这些信息理解用户当前的工作环境和上下文。
    • 知识结构化:自动将捕获的瞬间(如会议、工作内容)转化为有用的、可检索的知识。
  2. 专注于会议效率

    • 在会议中能主动提供帮助,实时生成会议纪要、行动项摘要,并能即时回答问题。
  3. 隐私与无干扰设计

    • 真正隐形:强调隐私保护,声称不会出现在屏幕录制、截图或系统 Dock 栏中,并承诺没有持续的隐藏捕获或分享。
  4. 开源与轻量

    • 项目完全开源,强调快速和轻量级。

技术实现与支持

  1. 技术栈:基于 Electron 框架(从移除 Electron Forge 的提交和 electron-builder.yml 文件可知),结合了 Web 技术和原生能力。使用 Firebase 作为后端(包含 firebase.jsonfirestore.indexes.json)。
  2. AI 服务支持

    • Cloud LLMs:支持 OpenAI、Gemini 和 Claude 的 API。
    • Local LLMs:支持通过 Ollama 在本地运行大模型。
    • 语音转文本(STT):支持多种 STT 服务,最近添加了 Deepgram。并且致力于优化体验,如为 STT 服务添加了保活机制和转录会话续期。
    • 音频处理:集成了一个名为 AEC(Acoustic Echo Cancellation)的 Rust 子模块,用于分离麦克风和系统音频,提升音频处理质量。
  3. 数据存储:正在进行从 electron-store 到集中式数据库(很可能是 Firestore)的迁移,以实现更好的数据管理。

获取与安装

  1. 即时启动(macOS):提供预构建的 macOS 应用程序下载,用户无需自己构建。
  2. 本地构建(快速开始)
    • 前提条件:要求使用 Node.js 20.x.x 版本以避免原生依赖项的构建错误。
    • 安装命令:使用 npm run setup 即可完成安装。
    • 多平台支持:支持 macOS(包括 Intel 和 Apple Silicon)和 Windows(Beta 版)。

用户操作

  • 键盘快捷键
    • Ctrl/Cmd + \:显示/隐藏主窗口。
    • Ctrl/Cmd + Enter:基于之前的屏幕和音频内容向 AI 提问。
    • Ctrl/Cmd + Arrows:移动主窗口位置。
    • 还提到了快捷键编辑功能(Beta 版)。

项目状态与社区

  1. 活跃开发中:项目处于非常活跃的开发阶段,最近几乎每天都有提交和功能更新。
  2. 近期更新亮点(截至 2025 年 7 月)

    • 添加了对 Gemini、Claude、本地 LLM (Ollama) 和本地 STT (Whisper) 的支持。
    • 完成了大规模的代码重构和模块化(#125),改善了项目结构。
    • 修复了关键问题,如防止日志中的令牌泄漏(#53)和 30 分钟超时问题(#148)。
    • 改进了音频处理(AEC)和 Windows 支持。
    • 正在开发全新的“Liquid Glass”用户界面。
  3. 欢迎贡献:项目鼓励社区贡献,提供了贡献指南(CONTRIBUTING.md)和问题模板。

    • 起步建议:为新手贡献者标记了“Help Wanted”的问题列表,这些问题的范围相对有限,是熟悉项目的好方法。
    • 当前工作重点:完成代码重构后,将着手处理主要问题。一个重要的进行中任务(WIP)是开发“Liquid Glass”UI。
  4. 背景:该项目是 CheatingDaddy 的一个分支,并对其进行了修改和增强。作者感谢了开源贡献者。

公司背景

Glass 是 Pickle 公司产品路线图的第一步。该公司的宏伟使命是“为每个人构建一个活的数字克隆体”。Glass 的目标是创建一个可信的数据管道,将用户的日常数据转化为一个可扩展的“克隆体”基础。更多信息可以访问 pickle.com


总结:Glass 是一个处于快速迭代开发中的、野心勃勃的开源项目。它试图成为一个深度集成于用户工作流、以隐私安全为重心的桌面AI助手,尤其专注于提升会议和知识管理效率。它支持多种主流和本地AI模型,并积极构建开发者社区。