马斯克起诉阿尔特曼,起诉书都说了什么?

in hive-180932 •  10 months ago 

马斯克起诉OpenAI和它的创始人阿尔特曼,两位大佬又在AI大事记上留下重重一笔。
如果你对AI感兴趣,一定不要只是吃二手瓜,非常推荐亲自阅读马斯克的起诉书全文。

因为起诉书里的爆料太多了,不少细节拿出来,都是AI发展史上的秘闻。

顺便说一句,用kimi翻译起诉书这样的长篇pdf文档,真是太爽了。

起诉书原文

  1. 诉讼背景

    • 埃隆·马斯克(原告)起诉萨缪尔·阿尔特曼、格雷戈里·布洛克曼、OpenAI 及其相关实体(被告)。
    • 诉讼涉及的法律问题包括合同违约、承诺禁止反言、违反信托责任、不公平竞争以及要求会计审计。
  2. OpenAI 的成立和使命

    • OpenAI 成立于 2015 年,旨在开发人工智能(AI)以造福人类,而不是为了追求股东利润。
    • OpenAI 的成立协议强调了其非营利性质和开放源代码的原则。
  3. 诉讼的主要指控

    • 被告违反了 OpenAI 的成立协议,将 OpenAI 转变为一个封闭源代码的实体,与微软(Microsoft)建立了独家许可关系,将技术用于商业目的。
    • OpenAI 的董事会在 2023 年发生了变动,导致 OpenAI 的非营利使命被抛弃,转而追求利润最大化。
  4. 诉讼请求

    • 要求被告继续遵守 OpenAI 的成立协议,公开其 AI 研究和技术。
    • 要求确认 GPT-4 和其他 OpenAI 开发的大型语言模型构成人工通用智能(AGI),并因此超出了与微软的许可协议范围。
    • 要求赔偿原告因被告的不公平和不当行为而遭受的损失。
    • 要求对 OpenAI 收到的捐款和使用情况进行会计审计。
  5. 诉讼的法律依据

    • 根据加利福尼亚州的法律,被告对原告负有信托责任,包括使用原告的捐款用于约定的目的。
    • 被告的行为违反了加利福尼亚州商业和职业法典第 17200 条等法律规定。
  6. 诉讼的法律后果

    • 如果原告胜诉,被告可能需要支付赔偿金、律师费、利息以及可能的惩罚性赔偿。
    • 原告还要求法院下令禁止被告继续进行不公平的商业行为,并要求被告进行特定的履约行为。

案件概述

A. 人工智能的威胁

  1. 在 20 世纪的过程中,美国逐渐从一个以人力劳动为主的经济转变为以人力知识为主的经济,经济价值主要由人类智能创造。随着世纪的推进,人工智能(AI)开始创造价值。
  1. 从 20 世纪末和 21 世纪初开始,一种名为“深度学习”的旧算法在低成本硬件上变得实用。这导致了几乎所有 AI 项目性能的几乎一夜之间的革命。新的顶级算法被开发出来,用于将语音转换为文本、在语言之间进行翻译,以及识别照片中显示的食物类型。深度学习的一个标志是,算法不需要针对手头任务设计大量知识。它们从训练示例中学习每项任务,基本上是在自我编程。这意味着它们比早期系统(如 Deep Blue)更具通用性。

  2. 随着深度学习算法变得越来越复杂,世界上一些领先的 AI 研究人员开始关注所谓的人工通用智能(AGI)。AGI 的基本概念是一个通用目的的人工智能系统——一种能够像人类一样处理各种任务的机器。

  3. 马斯克先生长期以来一直认识到 AGI 对人类构成了严重威胁——也许是我们今天面临的最大存在威胁。他的担忧与史蒂芬·霍金和 Sun Microsystems 创始人比尔·乔伊等人提出的担忧相呼应。我们的整个经济都建立在人类共同努力并为艰难任务找到最佳解决方案的基础上。如果一台机器几乎可以比我们更好地解决任何任务,那么这台机器在经济上就比我们更有用。正如乔伊先生警告的那样,有了强大的 AGI,“未来不需要我们”。

  4. 马斯克先生公开呼吁采取各种措施来应对 AGI 的危险,从自愿暂停到监管,但他的呼吁在很大程度上没有得到响应。

  5. 但是,就像马斯克先生看到 AGI 中存在存在威胁一样,其他人则将 AGI 视为利润和权力的来源。

  6. 2014 年,谷歌收购了 DeepMind,这是一个专注于深度学习的研究机构。DeepMind 的初步发展之一是 AlphaZero,一个下棋算法。然而,与之前的算法不同,AlphaZero 使用了“强化学习”,在这个过程中,程序通过与软件的不同版本对弈来自我学习。它最初是随机下棋,对游戏策略一无所知。当一个软件版本赢得比赛时,获胜程序的内部路径会被“加强”,然后重复这个过程。

  7. AlphaZero 迅速成为世界上最强大的下棋系统。令人震惊的是,它还被宣布为其他两项极其困难的游戏的世界冠军。用谷歌/DeepMind 的话来说,“从随机开始,除了游戏规则之外没有领域知识,AlphaZero 在 24 小时内达到了国际象棋、将棋(日本象棋)以及围棋的超人水平,并在每种情况下都令人信服地击败了世界冠军程序。”

  8. 有了 DeepMind 团队,谷歌立即在 AGI 竞赛中领先。马斯克先生对这一发展深感不安。他相信(现在仍然相信),在像谷歌这样的封闭、营利性公司手中,AGI 对人类构成了特别尖锐和有害的危险。2014 年,与谷歌在其核心业务中竞争已经足够困难。谷歌从我们的搜索、电子邮件以及几乎我们图书馆中的每本书中收集了独特且庞大的数据集。然而,到目前为止,每个人都有可能通过超越人类智能和努力工作来与谷歌竞争。AGI 将使竞争几乎不可能。

B. OpenAI, Inc. 的创立协议

  1. 阿尔特曼先生声称他与马斯克先生一样,对 AGI 带来的威胁感到担忧。2015 年,阿尔特曼先生写道,“超人类机器智能(SMI)的发展可能是对人类持续存在的最 大威胁。我认为还有其他威胁更有可能发生……但不太可能像 SMI 那样毁灭宇宙中的每一个人类。”同年晚些时候,阿尔特曼先生向马斯克先生提出了一个提议:他们联合起来成立一个非营利性 AI 实验室,试图在 AGI 竞赛中追赶谷歌,但这将与谷歌截然不同。

  2. 与布洛克曼先生一起,三人同意这个新实验室:(a)将是一个非营利性组织,开发 AGI 以造福人类,而不是为了追求股东利润的营利性公司;(b)将是开源的,仅在对抗性安全考虑下平衡,不会出于专有商业原因将其技术保密(“创立协议”)。马斯克先生将这个新 AI 实验室命名为“OpenAI”,它将与谷歌/DeepMind 在 AGI 竞赛中竞争,但这样做是为了造福人类,而不是私人营利公司的股东(更不用说世界上最大的技术公司之一)。

  3. 创立协议也在 OpenAI, Inc. 2015 年 12 月 8 日的成立证书中得到确认,该证书确认其“产生的技术将惠及公众,公司将在适用时寻求为公众利益开源技术。公司不是为任何个人谋取私利而组织的。”附件 1 第 1 页。

  4. 成立证书进一步确认,公司的所有财产“不可撤销地致力于”这些约定的目的。同上。

  5. 基于创立协议,马斯克先生成为 OpenAI, Inc. 创建的主要推动力,在其最初几年提供了大部分资金,就研究方向提供建议,最重要的是,招募了一些世界上最顶尖的科学家和工程师加入这个非营利性企业,包括首席科学家伊利亚·苏茨克弗(Ilya Sutskever)。在谷歌/DeepMind 的无情招募努力和慷慨的薪酬待遇下,如果没有马斯克先生的创立贡献和早期领导,就不会有 OpenAI, Inc. 马斯克先生。

  6. OpenAI 的初始研究是公开进行的,为设计、模型和代码提供免费和公开的访问。当 OpenAI, Inc. 的研究人员发现一种名为“变换器”(最初由谷歌发明)的算法可以在没有任何明确训练的情况下执行许多自然语言任务时,整个社区开始增强和扩展 OpenAI, Inc. 发布的模型。这些社区扩展到开源、草根努力和商业实体。

  7. 阿尔特曼先生于 2019 年成为 OpenAI, Inc. 的首席执行官。2020 年 9 月 22 日,OpenAI 与微软达成协议,将其生成式预训练变换器(GPT)-3 语言模型独家许可给微软。然而,OpenAI 发布了一篇详细的论文,描述了 GPT-3 的内部结构和训练数据,使社区能够自行创建类似模型。而且,最关键的是,微软的许可仅适用于 OpenAI 的预 AGI 技术。微软没有获得 AGI 的权利。而且,决定 OpenAI 是否达到 AGI 的是 OpenAI, Inc. 的非营利董事会,而不是微软。

C. 2023 年违反创立协议

  1. 2023 年,被告阿尔特曼先生、布洛克曼先生和 OpenAI 将创立协议付之一炬。

  2. 2023 年 3 月,OpenAI 发布了其迄今为止最强大的语言模型 GPT-4。GPT-4 不仅能够进行推理,而且比普通人类更擅长推理。它在律师统一考试中得分位于第 90 百分位。它在 GRE 语言评估中得分位于第 99 百分位。它甚至在高级侍酒师考试中得分 77%。此时,阿尔特曼先生导致 OpenAI 从根本上偏离了其最初的使命和历史实践,即让其技术和知识对公众开放。GPT-4 的内部设计被保密,并且仍然是 OpenAI 的秘密——据信,还有微软。没有科学出版物描述 GPT-4 的设计。相反,只有关于性能的新闻稿。据信,这种保密主要是出于商业考虑,而不是安全考虑。尽管 GPT-4 是由 OpenAI 使用原告和其他人的贡献开发的,这些贡献旨在惠及公众,但 GPT-4 现在实际上是微软的专有算法,它已经将其集成到其 Office 软件套件中。

  3. 此外,据信,GPT-4 是一个 AGI 算法,因此明确超出了微软与 OpenAI 在 2020 年 9 月的独家许可协议的范围。在这方面,微软自己的研究人员公开表示,“鉴于 GPT-4 的能力和深度,我们认为它可以合理地被视为一个早期(尽管仍然不完整)的人工通用智能(AGI)系统。”此外,据信,OpenAI 目前正在开发一个名为 Q(Q 星)的模型,它对 AGI 的主张甚至更强。如上所述,微软仅对 OpenAI 的某些预 AGI 技术拥有权利。但就微软许可协议而言,决定 OpenAI 是否达到 AGI 的是 OpenAI, Inc. 的董事会,而 2023 年 11 月发生了董事会政变。2023 年 11 月 17 日,OpenAI, Inc. 的董事会在失去“对他的领导能力的信心”后解雇了阿尔特曼先生,因为他“与董事会的沟通不一致”。在接下来的几天里,阿尔特曼先生和布洛克曼先生与微软一起利用微软对 OpenAI, Inc. 的重大影响力,迫使 OpenAI, Inc. 的大多数董事会成员辞职,包括首席科学家伊利亚·苏茨克弗。阿尔特曼先生于 2023 年 11 月 21 日被重新任命为 OpenAI, Inc. 的首席执行官。据信,新董事会成员是由阿尔特曼先生挑选并得到微软认可的。新董事会成员缺乏实质性的 AI 专业知识,据信,他们天生就不适合独立决定 OpenAI 是否达到 AGI——以及何时开发出超出微软许可协议范围的算法。*

  4. 2023 年的这些事件构成了对创立协议的公然违反,被告基本上颠倒了创立协议。至今,OpenAI, Inc. 的网站仍然宣称其章程是确保 AGI “惠及全人类”。然而,实际上,OpenAI, Inc. 已经转变为微软这个全球最大技术公司的封闭源代码的事实上的子公司。在其新董事会的领导下,它不仅正在开发 AGI,而且实际上是在完善 AGI,以最大化微软的利润,而不是为了人类的利益。它的技术,包括 GPT-4,主要是为了服务于微软的专有商业利益而保持封闭源代码。事实上,正如 2023 年 11 月的戏剧性事件展开时,微软的首席执行官夸耀说,如果 OpenAI 明天消失也无所谓。他解释说,“我们拥有所有的知识产权和所有能力。” “我们有人,我们有计算能力,我们有数据,我们拥有一切。” “我们在他们下面,上面,周围。”

  5. 本案旨在迫使 OpenAI 遵守创立协议,并回归其使命,即为人类的利益开发 AGI,而不是为了个人被告和全球最大技术公司的利益。

详细指控

A. 马斯克先生对 AGI 落入错误之手的担忧

  1. 2012年,埃隆·马斯克与 DeepMind 的联合创始人德米斯·哈萨比斯会面。大约在这个时候,马斯克和哈萨比斯在加利福尼亚州霍桑的 SpaceX 工厂会面,讨论社会面临的最大威胁。在这次对话中,哈萨比斯强调了人工智能发展对社会的潜在危险。

  2. 在与哈萨比斯的这次会谈之后,马斯克越来越担心人工智能可能变得超智能,超越人类智能,并威胁人类。事实上,马斯克并不是唯一担心人工智能危险和 DeepMind 正在进行的研究的人。据报道,在与哈萨比斯和 DeepMind 的投资者会面后,一位投资者评论说,他为人类所做的最好的事情就是在那时当场射杀哈萨比斯。

  3. 马斯克开始与他的圈子里的人讨论人工智能和 DeepMind,例如当时 Alphabet 公司(谷歌母公司)的首席执行官拉里·佩奇。马斯克经常在与佩奇的对话中提出人工智能的危险性,但令马斯克震惊的是,佩奇对此并不关心。例如,在2013年,马斯克与佩奇就人工智能的危险性进行了激烈的交流。他警告说,除非采取安全措施,“人工智能系统可能会取代人类,使我们的物种变得无关紧要甚至灭绝。”佩奇回应说,这将仅仅是“进化的下一个阶段”,并声称马斯克是“物种主义者”——即偏爱人类物种而非智能机器。

  4. 在2013年底,马斯克得知谷歌计划收购 DeepMind,这让他深感担忧。当时,DeepMind 是业界最先进的人工智能公司之一。因此,马斯克非常担心 DeepMind 的人工智能技术会落入那些对它的力量如此轻率的人手中,并可能将其设计和能力隐藏在封闭的大门后面。

  5. 为了防止这项强大的技术落入谷歌之手,马斯克和 PayPal 的联合创始人卢克·诺斯克试图筹集资金购买 DeepMind。这一努力最终在一次长达一小时的电话会议中达到高潮,马斯克和诺斯克最后一次试图说服哈萨比斯不要将 DeepMind 卖给谷歌。马斯克告诉哈萨比斯,“人工智能的未来不应该由拉里·佩奇控制。”

  6. 马斯克和诺斯克的努力未能成功。2014年1月有报道称,DeepMind 将被谷歌收购。然而,这并没有阻止马斯克继续确保人工智能的安全发展。

  7. 在谷歌收购 DeepMind 之后,马斯克开始“主持自己的一系列晚餐讨论,探讨如何对抗谷歌并促进人工智能安全。”马斯克还联系了时任总统巴拉克·奥巴马,讨论人工智能和人工智能安全。2015年,马斯克和奥巴马总统会面,马斯克解释了人工智能的危险性,并倡导监管。马斯克认为奥巴马总统理解了人工智能的危险性,但监管从未到来。

  8. 尽管遭遇这些挫折,马斯克继续倡导安全的人工智能实践。2015年,似乎马斯克找到了一个理解他对人工智能的担忧并希望将第一个 AGI 保持在像谷歌这样的私营公司之外的人:被告萨缪尔·阿尔特曼。

  9. 当时,阿尔特曼是硅谷创业加速器 Y Combinator 的总裁。在此之前,阿尔特曼曾参与过各种创业项目。

  1. 阿尔特曼先生似乎分享了马斯克先生对人工智能的担忧。在2014年的公开博客文章中,阿尔特曼先生表示,如果实现了AGI,它将是“技术发展史上最大的进步”。阿尔特曼先生指出,有许多公司正在朝着实现AGI迈进,但他承认“好的公司对此非常保密”。

  2. 2015年2月25日,阿尔特曼先生还表达了他对所谓的“超人类机器智能”发展的担忧,他认为这是“对人类持续存在的最 大威胁”,并强调“作为一个被编程以生存和繁殖的人类,我认为我们应该对抗它”。此外,阿尔特曼先生批评了那些认为“超人类机器智能”危险但认为它“永远不会发生或肯定很远”的人,指责他们进行了“草率、危险的思考”。

  3. 事实上,在2015年3月初,阿尔特曼先生强调了政府监管的重要性,以确保人工智能的安全创造,并建议“一群非常聪明的人,拥有大量资源”可能涉及“美国公司以某种方式”最有可能首先实现“超人类机器智能”。

  4. 同月晚些时候,阿尔特曼先生联系马斯克先生,询问他是否有兴趣起草一封致美国政府的公开信,讨论人工智能问题。两人开始准备信件,并接近科技和人工智能领域的有影响力的人物,邀请他们签名。不久,整个行业都听到了关于这封信的传言。

  5. 例如,在2015年4月,哈萨比斯联系马斯克先生,表示他从多个来源听说马斯克先生正在起草一封致总统的信,呼吁对人工智能进行监管。马斯克先生为人工智能监管的想法辩护,表示:“如果做得好,它可能会在长期内加速人工智能的发展。没有公众对监管监督提供的舒适感,可能会出现一种情况,即人工智能造成巨大伤害,然后人工智能研究被禁止,因为它对公共安全构成危险。”

  6. 五天后,哈萨比斯先生宣布了谷歌DeepMind人工智能伦理委员会的首次会议,这是谷歌和DeepMind承诺在两年前收购DeepMind时建立的委员会。马斯克先生被邀请加入委员会,并提议在加利福尼亚州霍桑的SpaceX举办第一次会议。在第一次会议后,马斯克先生清楚地意识到,这个委员会并不是一个严肃的努力,而是一个试图减缓任何人工智能监管的幌子。

  7. 这封公开信后来于2015年10月28日发布,并由包括马斯克先生、斯蒂芬·霍金和史蒂夫·沃兹尼亚克在内的一万多人签署。

B. OpenAI, Inc. 的创立协议

  1. 2015年5月25日,阿尔特曼先生在电子邮件中写道,他一直在思考“是否有可能阻止人类发展人工智能。我认为答案几乎肯定是不可能的。如果它要发生,似乎最好是让除了谷歌以外的其他人先做。”阿尔特曼先生有一个想法:Y Combinator为人工智能启动一个“曼哈顿计划”。(不幸的是,事实证明,“曼哈顿计划”这个名称可能太贴切了。)他提议“我们可以将其构建为一种非营利组织,但工作人员如果成功,可以获得类似创业公司的补偿。显然,我们会遵守/积极支持所有监管。”马斯克先生回应说:“可能值得一谈。”

  2. 在进一步的沟通之后,阿尔特曼先生在2015年6月24日通过电子邮件向马斯克先生提出了这个新“人工智能实验室”的详细提案。“使命将是创建第一个通用人工智能,并将其用于个人赋权——即,看起来最安全的分布式未来。更一般地说,安全应该是一个首要要求。”“技术将由基金会拥有,并用于‘世界的利益’。”他提议从7-10人的团队开始,然后扩大规模。他还提出了一个治理结构。马斯克先生回应说:“我同意所有这些。”附件2第1页。

  3. 不久之后,阿尔特曼先生开始招募其他人帮助开发这个项目。值得注意的是,阿尔特曼先生接近格雷戈里·布洛克曼来帮助这个项目。

  4. 2015年11月,阿尔特曼先生通过电子邮件将布洛克曼先生介绍给马斯克先生。关于这个项目,布洛克曼先生告诉马斯克先生:“我希望我们作为一个中立团体进入这个领域,寻求广泛合作,并将对话转向关于人类胜利,而不是任何特定团体或公司。(我认为这是我们成为领先研究机构的最佳方式。)”对一个专注于人类而非任何特定个人或团体利润的中立人工智能研究团体持乐观态度,马斯克先生告诉布洛克曼先生,他将承诺提供资金。

  5. 马斯克先生为新实验室想出了一个名字,这个名字反映了创立协议:“Open AI Institute”,或者简单地说,“OpenAI”。

  6. 考虑到创立协议的原则,马斯克先生与阿尔特曼先生和布洛克曼先生联手正式化并启动了这个项目。马斯克先生在项目公开宣布之前就积极参与其中。例如,马斯克先生就员工的薪酬方案向布洛克曼先生提供建议,与布洛克曼先生分享他的薪酬和留住人才策略。

  7. 2015年12月8日,OpenAI, Inc. 的成立证书被提交给特拉华州秘书处。该证书以书面形式纪念了创立协议:

第三:本公司拥有慈善和/或教育目的,根据1986年内部税收法典第501(c)(3)节的意义,或任何未来美国内部税收法的相应条款。本公司的具体目的是为与人工智能相关的技术研究、开发和分发提供资金。产生的技术将惠及公众,公司将在适用时寻求为公众利益开源技术。公司不是为任何个人的私人利益而组织的。......
第五:本公司的财产不可撤销地致力于本文第三条所述的目的,本公司没有任何一部分的净收入或资产将用于任何董事、高级职员或成员的利益,或任何私人个人的利益。在本公司解散或清算后,其剩余资产在支付或为支付所有债务和负债后,应分配给一个专门从事慈善、教育和/或宗教目的的非营利基金、基金会或公司,该公司已根据内部税收法典第501(c)(3)节或任何未来联邦税法的相应条款建立了其免税地位,或应分配给联邦政府,或分配给州或地方政府,用于公共目的。

  1. OpenAI, Inc. 于 2015 年 12 月 11 日公开宣布。在宣布中,马斯克和阿尔特曼被任命为联合主席,布洛克曼被任命为首席技术官。公告强调 OpenAI 设计目的是“造福人类”,其研究将“不受财务义务的约束”:OpenAI 是一家非营利性人工智能研究公司。我们的目标是以最有可能使整个人类受益的方式推进数字智能,不受产生财务回报需求的约束。由于我们的研究不受财务义务的约束,我们可以更好地专注于积极的人类影响。附件 3 第 1 页。

C. 马斯克先生在 OpenAI, Inc. 起步阶段的关键作用

  1. 在公开宣布的当天,马斯克先生在电子邮件中写道,我们的“最重要的考虑是招募最优秀的人才。”他承诺,帮助招募工作将是他的“绝对首要任务,全天候。”他承认,“我们在人数和资源上与你知道的组织相比处于绝对劣势,但我们站在正义的一边,这很重要。我喜欢这些机会。”马斯克先生利用他的联系、地位和影响力进行了努力。OpenAI, Inc. 是一个由埃隆·马斯克赞助的倡议,马斯克先生担任联合主席,这对 OpenAI, Inc. 的招募工作至关重要,尤其是在面对 Google/DeepMind 的反招募时。没有马斯克先生的参与和他为创立协议提供的重要支持努力和资源,OpenAI, Inc. 很可能永远不会起步。

  2. 最初的重要聘用之一是首席科学家的角色。阿尔特曼、布洛克曼和马斯克都希望谷歌的研究科学家伊利亚·苏茨克弗担任这一角色。苏茨克弗博士在是否离开谷歌加入该项目上犹豫不决,但最终是在 OpenAI, Inc. 公开宣布的当天,马斯克先生的一个电话说服苏茨克弗博士承诺加入项目,成为 OpenAI, Inc. 的首席科学家。

  3. 在接下来的几个月里,马斯克先生积极为 OpenAI, Inc. 招募人才。Google/DeepMind 为了杀死这个新企业,对 OpenAI, Inc. 的招聘人员提出了越来越丰厚的反报价。在二月底,马斯克先生给布洛克曼和阿尔特曼发了一封电子邮件,重申“我们需要不惜一切代价吸引顶尖人才。让我们出更高的价。如果我们需要重新审视现有人员的薪酬,那也没关系。要么我们吸引世界上最优秀的人才,要么我们会被 Deepmind 打败。为了吸引顶尖人才,我愿意付出任何代价。Deepmind 给我带来了极大的心理压力。如果他们赢了,他们的一心统治世界的理念将会带来真正的坏消息。他们显然在那里取得了重大进展,他们应该这样做,因为他们拥有那里的人才水平。”

  4. 马斯克先生不仅仅是利用他的联系和影响力为 OpenAI, Inc. 招募。当他告诉布洛克曼和阿尔特曼提高报价并“不惜一切代价吸引顶尖人才”时,他是在为这些更高的报价提供资金。仅在 2016 年,马斯克先生就向 OpenAI, Inc. 捐款超过 1500 万美元,超过了任何其他捐赠者。他提供的资金使 OpenAI, Inc. 能够组建一个顶尖的团队。同样,在 2017 年,马斯克先生向 OpenAI, Inc. 捐款近 2000 万美元,再次超过了任何其他捐赠者。总的来说,从 2016 年到 2020 年 9 月,马斯克先生向 OpenAI, Inc. 捐款超过 4400 万美元。

  5. 此外,通过 Musk Industries LLC,马斯克先生租赁了 OpenAI, Inc. 在旧金山 Pioneer Building 的初始办公空间,并支付了每月的租金。马斯克先生定期访问 OpenAI, Inc.,并出席了重要的公司里程碑事件,例如 2016 年向 OpenAI, Inc. 捐赠第一台 DGX-1 AI 超级计算机。马斯克先生会收到 OpenAI, Inc. 的进展更新,并提供他的反馈和建议。

D. 阿尔特曼先生和布洛克曼先生多次重申创立协议

  1. 2017 年,布洛克曼和其他人建议将 OpenAI, Inc. 从非营利组织转变为营利性公司。经过几周的一系列沟通,马斯克先生告诉布洛克曼、苏茨克弗博士和阿尔特曼先生,“要么自己去做事,要么继续以非营利组织的形式运营 OpenAI。在我做出坚定承诺之前,我将不再资助 OpenAI,否则我就是在愚蠢地为一个初创企业提供免费资金。讨论结束。”

  2. 作为回应,阿尔特曼先生告诉马斯克先生,“我仍然对非营利结构充满热情!”最终,布洛克曼和苏茨克弗博士向马斯克先生传达了他们的决心,即继续非营利结构,并承诺在接下来的一年里致力于筹款以支持非营利组织。

  1. 2018年2月21日,马斯克先生辞去了OpenAI, Inc.的联合主席职务。尽管如此,马斯克先生继续为OpenAI, Inc.做出贡献,依赖并进一步推动创立协议。例如,在2018年,马斯克先生向OpenAI, Inc.捐赠了约350万美元。他继续从布洛克曼先生、苏茨克弗博士和阿尔特曼先生那里接收关于OpenAI, Inc.的更新。

  2. 2018年4月,阿尔特曼先生向马斯克先生发送了一份OpenAI宪章草案,并征求他的意见。草案将OpenAI的使命描述为确保AGI“惠及全人类”。它指出,“我们承诺利用我们对AGI部署的任何影响力,确保它被用于所有人的利益,并避免使AI或AGI的使用对人类造成伤害或过度集中权力。我们对人类的主要信托责任是。我们预计需要动员大量资源来完成我们的使命,但将始终努力最小化可能损害广泛利益的利益冲突。”

  3. 2019年3月11日,OpenAI, Inc.宣布将创建一个营利性子公司:OpenAI, L.P.潜在投资者在摘要条款表的顶部被告知一个“重要警告”,即营利实体“存在是为了推进OpenAI Inc.(非营利组织)的使命,即确保安全开发人工通用智能并惠及全人类。普通合伙人对这一使命和OpenAI Inc.宪章中提出的原则的职责优先于任何产生利润的义务。”因此,投资者被明确告知,“明智的做法是以捐赠的精神看待对OpenAI LP的任何投资。”

  4. 在公告之后,马斯克先生联系阿尔特曼先生,要求他“明确表示我对OpenAI的营利部分没有任何财务利益。”然而,马斯克先生继续支持OpenAI, Inc.,非营利组织,在2019年捐赠了额外的348万美元。

  5. 2020年9月22日,OpenAI宣布将其某些预AGI技术独家许可给微软。与创立协议一致,OpenAI的网站声明AGI,它描述为“一个在大多数经济价值工作中超越人类的高性能自主系统”,“被排除在与微软的知识产权许可和其他商业条款之外,这些条款仅适用于预AGI技术。”然而,OpenAI的董事会“决定我们何时达到AGI。”

E. OpenAI的公司结构变化

……

F. OpenAI技术的发展——从AI到AGI

  1. OpenAI最初的工作遵循了DeepMind的脚步。OpenAI使用强化学习来玩一个游戏。不过,它不是玩国际象棋,而是玩Dota 2,这是一款策略视频游戏,比国际象棋有更多的移动部分。OpenAI的团队迅速构建了一个新模型,击败了当时的世界冠军团队,展示了“自我对弈强化学习可以在困难任务上实现超人表现”。

  2. 与此同时,在谷歌,创建了一个名为Transformer的算法,解决了深度学习在理解长文本序列方面所面临的许多问题。这个算法,一个“大型语言模型”的例子,被开发出来用于将文本从一种语言翻译成另一种语言,通过在源语言中的单词之间形成联系,并将这些联系映射到目标语言。

  3. OpenAI的研究人员继续这项研究,并迅速取得了另一个惊人的结果:通过使用谷歌Transformer架构的前半部分,可以在大量文本语料库上预训练深度神经网络,并用于生成新文本。2018年1月,OpenAI发布了这个生成预训练变换器(GPT)的源代码和训练模型,以及描述模型及其能力的详细论文。

  4. 2019年,OpenAI发布了第二代模型GPT-2。发布时再次附带了详细描述模型的论文,并指出,与之前需要针对特定任务进行训练的模型不同,“当大型语言模型在足够大且多样化的数据集上进行训练时,它能够在许多领域和数据集上表现良好。”这些模型证明它们与之前的AI系统非常不同。它们不需要对系统进行特定任务的训练,只需用自然语言“询问”即可执行新任务。

  5. 正如创立协议所预期的那样,OpenAI公开发布了GPT-2的完整版本。值得注意的是,尽管“人类发现GPT-2的输出令人信服”,“GPT-2可以被微调以用于滥用”,并且“检测[GPT生成的文本]具有挑战性”,但OpenAI当时表示,它希望“它对开发未来强大模型的开发者有用。”这次发布伴随着由OpenAI科学家以及独立社会和技术科学家共同撰写的详细论文。这篇论文解释了公开发布模型相对于保持封闭的一些好处。

  6. 他们的出版物确实对开发未来强大模型的开发者有用。整个社区涌现出来,增强和扩展OpenAI发布的模型。这些社区扩展到开源、草根努力和商业实体。

  7. 2020年,OpenAI宣布了其模型的第三个版本GPT-3。它使用了“1750亿参数,比任何之前的非稀疏语言模型多10倍。”同样,OpenAI在宣布这一模型时发布了一篇研究论文,描述了其完整的实现,供其他人在此基础上构建。

  8. 2022年,谷歌的研究人员展示了一个名为链式思维提示的小变化,可以使“大型语言模型执行复杂的推理。”东京大学和谷歌的研究人员迅速扩展了谷歌的结果,并表明OpenAI的GPT-3可以通过简单地在每个答案前添加“让我们一步一步思考”来像人类一样逐步推理一个全新的问题。

  9. 一条通往人工通用智能的道路已经可以看到。而且实现这一目标的时间线正在大幅压缩。

  10. 2023年3月14日,OpenAI发布了其模型的新一代GPT-4。这一代不仅能够推理,而且比普通人类更擅长推理。GPT-4在律师统一考试中得分位于第90百分位。它在GRE语言评估中得分位于第99百分位。它甚至在高级侍酒师考试中得分77%。根据OpenAI自己的客观标准,GPT-4已经在多种具有经济价值的任务上展现出超越人类的智能。

  11. 这一发展并没有被研究社区忽视。在一篇名为“人工通用智能的火花:GPT-4的早期实验”的详细分析中,微软的研究人员指出,“GPT-4能够解决跨越数学、编程、视觉、医学、法律、心理学等领域的新颖且困难的任务,而无需任何特殊提示。此外,在所有这些任务中,GPT-4的表现与人类水平的表现惊人地接近,通常远远超过以前的模型,如基于GPT-3.5的ChatGPT。”

  12. 他们将GPT-4的表现与基于GPT-3的系统的表现进行了比较,并发现“GPT-4的输出与GPT-3的输出无法相比。”在数学问题上,他们表明“GPT-4给出的解决方案是正确的,论证是合理的,而ChatGPT(基于GPT-3)产生了错误的解决方案,这(在人类的情况下)反映了对函数反演概念缺乏理解。”在另一个例子中,他们表明“GPT-4 给出了正确的解决方案,而 ChatGPT 首先重新排列条款,没有任何明确的方向或目的,并最终得到错误的解决方案。”

  1. 微软的科学家们承认,GPT-4“达到了一种通用智能的形式”,并且“鉴于GPT-4的能力范围和深度,我们认为它可以合理地被视为一个早期(尽管仍然不完整)的人工通用智能(AGI)系统。”

G. 2023年创立协议被违反

  1. 在达到AGI的门槛之后,根据创立协议,他们本应为人类的福祉而不是任何营利公司或个人利益开发AGI,被告却从根本上偏离了他们的使命,违反了创立协议。GPT-4是一个完全封闭的模型。GPT-4的内部设计仍然是一个秘密,没有发布任何代码。OpenAI没有发布描述其内部设计的任何方面的论文;它只是发布了吹嘘其性能的新闻稿。GPT-4的内部细节仅对OpenAI和据信微软知晓。因此,GPT-4与“开放AI”相反。它是为了商业目的而封闭的:微软有望通过向公众销售GPT-4赚取巨额利润,这在OpenAI(如其所需)向公众免费提供技术的情况下是不可能的。与创立协议相反,被告选择将GPT-4用于为世界上最大的公司最大化利润,而不是为了人类的利益。此外,OpenAI的整个开发现在被笼罩在秘密之中,公众只能依靠谣言和孤立的通信片段来了解接下来可能发布的内容。**

  2. 研究人员指出,基于GPT架构的AI的一个剩余限制是它们一次生成一个输出片段,并且不能“回溯”。这些问题在人工智能研究中已经出现过,并且对于其他应用来说已经基本解决了。在路径和迷宫寻找中,AI必须能够在存在死胡同的情况下找到正确的路径。执行此操作的标准算法称为“A*”(发音为A星)。

  3. 路透社报道称,OpenAI正在开发一个名为Q的秘密算法。虽然目前尚不清楚Q是什么,但路透社报道称,几名OpenAI员工写了一封信,警告Q的潜在力量。Q现在或将来可能是一个更清晰、更明显的AGI的例子,由OpenAI开发。作为一个AGI,它明确超出了OpenAI与微软的许可协议范围,必须为大众的利益而公开。**

  4. 为了微软的许可协议,OpenAI, Inc.的董事会决定OpenAI是否达到了AGI,而在一系列令人震惊的发展中,OpenAI, Inc.的大多数董事会成员被迫在2023年11月22日辞职,他们的替代者据信是由阿尔特曼先生和微软挑选的。**

  5. 2023年11月17日,OpenAI, Inc.的董事会解雇了阿尔特曼先生。OpenAI在一篇博客文章中宣布,阿尔特曼先生被解雇,他的“离职是经过董事会深思熟虑的审查过程之后,董事会得出结论,他在与董事会的沟通中并不始终如一,妨碍了董事会履行其职责。董事会不再对他继续领导OpenAI有信心。”**

  6. 布洛克曼先生也被从董事会中移除,但被告知他将保留在OpenAI的角色。**

  7. 那时,董事会由海伦·托纳(Helen Toner)、亚当·达安杰洛(Adam D'Angelo)、塔莎·麦考利(Tasha McCauley)、苏茨克弗博士、布洛克曼先生和阿尔特曼先生组成。除了担任董事会成员外,托纳女士还是治理人工智能中心(GovAI)的研究和顾问,以及乔治城大学安全和新兴技术中心的战略总监。麦考利女士是兰德公司(RAND Corporation)的高级管理科学家,这是一个专门从事公共政策决策的非营利组织。她还是GovAI的顾问。达安杰洛先生——在阿尔特曼被重新任命后唯一留在董事会的董事会成员——是一位科技CEO和企业家。**

  8. 在OpenAI, Inc.的董事会中包括多位学者和公共政策专家,他们对AI政策有深厚的经验,大多数人在公司中没有财务利益,这是一个深思熟虑的选择。这种财务无关的董事会成员组成,确保董事会将非营利组织的主要受益者——人类——置于财务成功之上。这种保障措施是为了推进OpenAI, Inc.的非营利使命和创立协议:安全地创造AGI,使其惠及人类,而不是营利公司的财务利益。**

  9. 据信,阿尔特曼先生被解雇的部分原因是OpenAI在实现AGI方面的突破。事实上,新闻报道称,OpenAI董事会成员和高管之间存在分歧,关于安全问题和OpenAI下一代Q可能带来的潜在威胁。*

  10. 阿尔特曼先生被解雇的消息迅速传播。在董事会宣布阿尔特曼先生被解雇后,布洛克曼先生宣布他将与阿尔特曼先生一起离开OpenAI。**

  11. 当微软首席执行官萨蒂亚·纳德拉(Satya Nadella)得知阿尔特曼先生被解雇时,据报道他非常愤怒。作为OpenAI营利部分的49%股东,纳德拉认为在解雇阿尔特曼先生之前应该咨询微软。然而,当时除了阿尔特曼先生之外,OpenAI, Inc.的董事会与微软没有联系,也没有对投资者的信托责任。相反,据信阿尔特曼先生是微软和OpenAI, Inc.之间的主要联络人。**

  12. 纳德拉邀请阿尔特曼先生和布洛克曼先生领导一个新的微软AI研究实验室,不受OpenAI, Inc.人道主义使命的约束。纳德拉明确表示,离开OpenAI的员工将受到微软新实验室的欢迎,并享有相同的薪水。**

  13. 微软对其在OpenAI营利部分的实质性所有权充满信心,认为即使OpenAI, Inc.不存在,它也可以完全控制OpenAI, Inc.的研究。事实上,在阿尔特曼先生被解雇后不久的一次采访中,纳德拉表示:“我们对自己的能力非常有信心。我们拥有所有的知识产权和所有能力。如果OpenAI明天消失了,我不希望我们的任何客户担心,因为我们拥有继续创新的所有权利。不仅仅是为了服务产品,我们可以自己做我们与合作伙伴一起做的事情。我们有人,我们有计算能力,我们有数据,我们拥有一切。”**

  14. 尽管微软表示他们有能力在没有OpenAI的情况下运作,但微软从未放弃让阿尔特曼先生重新担任OpenAI, Inc.首席执行官的计划。在阿尔特曼先生被解雇后的几天里,OpenAI, Inc.的董事会面临着来自律师和主要股东(包括微软)的越来越大的压力,要求重新任命阿尔特曼先生。**

  15. 托纳女士特别成为重新任命阿尔特曼先生的努力的目标。在这些努力中,OpenAI的一位律师告诉托纳女士,如果OpenAI因阿尔特曼先生被解雇而失败,她和董事会可能会面临违反对投资者信托责任的索赔。**

  16. 然而,OpenAI, Inc.董事会从未对投资者负有信托责任。事实上,营利部分的所有投资者都被告知,公司对其使命的责任优先于对其投资者的责任,OpenAI, Inc.的网站明确表示,它只对人类负有信托责任。**

  17. 托纳女士将律师的行为描述为恐吓手段,认为阿尔特曼先生的持续离职实际上将推进公司使命,促进人类的安全而非利润。然而,这并没有说服股东和阿尔特曼先生放弃他的重新任命。

  18. 此外,微软对OpenAI, Inc.及其董事会拥有相当大的强制力。在阿尔特曼先生被解雇期间,首席执行官纳德拉表示了微软与OpenAI的关系:“我们在里面。我们在他们下面,上面,周围。我们做内核优化,我们构建工具,我们构建基础设施。这就是为什么很多工业分析师说,‘哦,哇,这真的是微软和OpenAI之间的联合项目。’现实是,我们在这方面非常自给自足。”

  19. 此外,在解雇时,微软只支付了其对OpenAI的10亿美元投资承诺的一小部分,这给了微软对“独立”非营利董事会的严重影响力。此外,如果微软扣留了OpenAI所依赖的云计算系统,该公司将无法运作。

  20. 董事会面临的压力来自阿尔特曼先生和微软,直到11月21日,阿尔特曼先生被重新任命为OpenAI, Inc.的首席执行官,布洛克曼先生重新加入为总裁。阿尔特曼先生返回的条件之一是托纳女士、麦考利女士和苏茨克弗博士从董事会辞职。

  21. 据信,在阿尔特曼先生返回后,他挑选了一个新的董事会,该董事会缺乏类似技术专业知识或在AI治理方面的任何实质性背景,而前董事会故意这样做。达安杰洛先生,一位科技CEO和企业家,是唯一在阿尔特曼先生返回后留在董事会的前董事会成员。新董事会由在利润为中心的企业或政治方面拥有更多经验的成员组成,而不是在AI伦理和治理方面。他们还被报道为“阿尔特曼先生的大粉丝”。新董事会成员包括布雷特·泰勒(Bret Taylor)和劳伦斯·萨默斯(Larry Summers)。

  22. 泰勒先生对硅谷并不陌生,他曾深度参与湾区的各种以盈利为目的的风险投资。2024年2月14日,泰勒先生和前谷歌高管克莱·巴弗(Clay Bavor)共同推出了一家专注于为企业构建AI聊天机器人的初创公司。据信,萨默斯博士在2013年11月之前没有在基于人工智能的企业中工作的经验。微软还在董事会上获得了一个观察员席位,以便密切监视其表面上的非营利金鹅。

  23. 随着阿尔特曼先生的复职和董事会的重组,OpenAI, Inc.曾经精心设计的非营利结构,旨在在非营利部分、营利部分、董事会和首席执行官之间建立制衡系统,以确保非营利使命得到执行,一夜之间崩溃。OpenAI, Inc.曾经精心打造的非营利结构被一个纯粹以盈利为导向的首席执行官和一个在AGI和AI公共政策方面技术专业知识较差的董事会所取代。现在董事会为微软保留了一个观察员席位。随着这次重组,OpenAI, Inc.放弃了其非营利使命,即开发AGI以广泛造福人类,从而将其置于一个大型营利性公司手中,这将导致权力过度集中。

  24. OpenAI, Inc.董事会在AI方面的技术专业知识、中立性和对OpenAI, Inc.非营利使命的承诺对于OpenAI, Inc.的使命至关重要,因为董事会负责确定OpenAI是否达到了AGI,以便其与微软的许可协议。这意味着董事会的任务是确定OpenAI最强大和最先进的技术是否实际上被排除在微软独家许可的范围之外。

  25. 如果OpenAI的新商业模式是有效的,那么对于每一个投资者通过向非营利组织捐款“投资”的美元,该投资者将从州和联邦政府获得大约50美分的税收减免,因此每投资1美元的净成本仅为50美分。然而,随着OpenAI的新商业模式,他们获得了与传统的营利性公司投资者相同的“盈利”上升空间,而这种上升空间并不立即通过政府和最终公众的税收减免来资助。从投资的角度来看,与采用OpenAI新商业模式的实体竞争,就像在一场篮球比赛中,对方的篮筐得分是两倍。如果本法院在此情况下支持OpenAI的行为,任何在硅谷寻求保持竞争力的初创公司本质上都将被迫遵循OpenAI的模式,这将成为初创公司的标准操作程序,对合法非营利组织、政府的税收收入以及最终的加利福尼亚州和其他地方的人民造成损害。值得注意的是,OpenAI的营利部分最近估值接近800亿美元。

H. 2023年11月至现在:阿尔特曼的OpenAI

  1. 公众仍然对董事会的“深思熟虑的审查过程”揭示了什么,导致最初解雇阿尔特曼先生的事情一无所知。然而,有一点对马斯克先生和广大公众来说是清楚的:OpenAI已经放弃了其“不可撤销”的非营利使命,转而追求利润。许多领导人和知识分子公开评论了OpenAI成为“封闭的、营利性的AI”的讽刺和悲剧。

  2. 例如,2023年11月29日,麻省理工学院的经济学家在《洛杉矶时报》上发表了意见,表达了对OpenAI新的利润驱动指令的担忧。他们用这样的话说,“颠覆和无节制的增长已经成为科技行业的宗教,阿尔特曼先生一直是其最虔诚的高级祭司之一。”经济学家强调,新董事会更有可能允许阿尔特曼先生尽快扩大OpenAI,无论社会成本有多严重。

  3. 公共公民(Public Citizen)的总裁,一个非营利的消费者倡导组织,今年早些时候给加利福尼亚州总检察长罗布·邦塔(Rob Bonta)写了一封公开信,提出了关于OpenAI的营利性子公司是否对非营利组织施加了不适当的控制,或者非营利组织的目的是否在阿尔特曼先生和微软的领导下转变为盈利制造的担忧。这封信建议,如果非营利组织放弃其原始使命,应该解散,并将收益转移到另一个慈善企业。

  4. 2024年1月,《连线》(WIRED)的一项调查发现,OpenAI最近也关闭了公众获取以前可用的“关键文件”的途径。与OpenAI自成立以来一直强调的透明度承诺一致,OpenAI的IRS文件表明,自成立之初,任何公众成员都可以查看其治理文件、财务报表和利益冲突规则的副本。然而,当《连线》要求这些文件时,OpenAI表示它已经改变了政策。因此,尽管OpenAI长期以来一直承诺透明度,但公众成员无法获得提供有关2023年11月事件的信息的文件。

  5. 获取OpenAI文件的访问权限可以告知公众,是否已经改变了其治理以迎合微软和其他股东。至少,必须做出改变以适应微软在董事会上的席位,现在阿尔特曼先生据称正在与中东投资者讨论筹集高达7万亿美元的资金,以努力开发全球AI芯片制造工厂网络。如果来自微软的100亿美元足以获得董事会席位,那么可以想象,这些新的潜在投资可能会给投资者带来多少对OpenAI的控制权。这尤其令人担忧,当一个潜在的捐助者是阿拉伯联合酋长国的国家安全顾问时,美国官员因阿拉伯联合酋长国与中国的联系而感到担忧。此外,阿尔特曼先生曾讨论过将阿拉伯联合酋长国作为一个“监管沙箱”,在那里测试AI技术的可能性。

  6. 此外,获取OpenAI的利益冲突政策的访问权限对于揭示董事会控制阿尔特曼先生利用OpenAI推进自己的经济利益的能力至关重要,这些利益似乎迄今为止未受到约束。例如,在2019年阿尔特曼先生担任首席执行官时,OpenAI签署了一份意向书,计划从阿尔特曼先生大量投资的初创公司购买价值5100万美元的芯片。

  7. 虽然OpenAI, Inc.曾经是安全、负责任地开发AGI的先驱,基于与公众的开放沟通,但现在它已经关闭了大门,将最大的投资者的营利性子公司带上了董事会,该董事会的唯一信托责任是对人类,并且继续在秘密中朝着以利润为中心的未来前进,可能对人类产生灾难性的影响。

  8. 马斯克先生与阿尔特曼先生和布洛克曼先生共同创立并资助了OpenAI, Inc.,以换取并依赖创立协议,即OpenAI, Inc.(a)将是一个非营利组织,开发AGI以造福人类,而不是为了最大化股东利润的营利性公司;(b)将是开源的,仅在对抗性安全考虑下平衡,不会出于专有商业原因将其技术保密。这个创立协议在OpenAI, Inc.的成立章程中得到了纪念,并在原告和被告之间多年的书面通信中得到了多次确认,例如:

a. “本公司拥有慈善和/或教育目的,根据1986年内部税收法典第501(c)(3)节的意义,或任何未来美国内部税收法的相应条款。本公司的具体目的是为与人工智能相关的技术研究、开发和分发提供资金。产生的技术将惠及公众,公司将在适用时寻求为公众利益开源技术。公司不是为任何个人的私人利益而组织的。”附件1第1页。

b. 阿尔特曼先生表示:“使命将是创建第一个通用AI,并将其用于个人赋权——即,看起来最安全的分布式未来版本。更一般地说,安全应该是一个首要要求。...技术将由基金会拥有,并用于‘世界的利益’。”原告回答:“我同意所有这些。”附件2第1页。

  1. 被告以多种独立的方式违反了创立协议,至少包括:

a. 将GPT-4(微软自己的科学家写道,可以“合理地被视为一个早期(尽管仍然不完整)的人工通用智能(AGI)系统”)独家许可给微软,尽管他们同意OpenAI将为人类的福祉而不是为营利性公司开发AGI,更不用说世界上最大的公司了。

b. 未能向公众披露GPT-4的架构、硬件、训练方法和训练计算的细节,并通过建立“付费墙”将公众与GPT-4隔离开来,要求按令牌付费使用,以推进被告和微软自己的私人商业利益,尽管他们同意OpenAI的技术将是开源的,仅在对抗性安全考虑下平衡。

c. 允许微软,一家公开交易的营利性公司,在OpenAI, Inc.的董事会上占有一席之地,并对OpenAI的非营利活动施加不当影响和控制,包括例如,决定是否以及在多大程度上使OpenAI, Inc.的技术免费向公众开放,以及决定OpenAI是否达到了AGI。

  1. 作为被告违约行为的直接和近似结果,原告遭受了损害,目前尚不清楚具体金额,但肯定超过了本法院的管辖最低限额35,000美元,并且如果必要,将在审判中证明。

  2. 原告还寻求并有权要求被告履行合同义务的具体履行。

Authors get paid when people like you upvote their post.
If you enjoyed what you read here, create your account today and start earning FREE STEEM!
Sort Order:  

Upvoted! Thank you for supporting witness @jswit.