肖恩技术周刊(第 31 期):自力更生
周刊内容: 对一周内阅读的资讯或技术内容精品(个人向)进行总结,分类大致包含“业界资讯”、“技术博客”、“开源项目”和“学习资源”等。
更新时间: 周一
历史收录: 技术周刊合集
订阅方式: 微信公众号“肖恩聊技术”,除周刊外还有更多原创技术博文,欢迎关注👏🏻~
开篇图
从拼夕夕买了木板和连接片,自己动手拼装了洗衣柜,弄的时候有儿时玩沙子般快感了。
业界资讯
2024年度数据库回顾
2024年数据库领域发生了诸多重要事件,涉及许可证变动、收购案、新版本发布等,行业格局和商业模式不断演变。
许可证变动方面,Redis和Elasticsearch的调整引发广泛关注。2024年3月,Redis Ltd.将许可证从BSD-3改为Redis Source Available License和SSPL的双许可证,旨在保护其商业模式,却引发了社区的强烈反弹,导致Valkey和Redict等基于旧代码的分支涌现,社区分裂态势明显。而Elastic N.V.在2024年8月宣布不再使用双许可证,转而采用AGPL,以应对Amazon的OpenSearch分支竞争,这一调整也引发了社区的热烈讨论,影响了Elasticsearch的生态发展。
Databricks与Snowflake的竞争愈发激烈。在大模型领域,Databricks推出了1320亿参数的DBRX模型,而Snowflake紧随其后发布了4800亿参数的Arctic模型,两者在企业场景中展开激烈竞争,争夺市场份额和客户资源。此外,在元数据目录领域,Databricks和Snowflake也展开了暗战,Databricks收购了Tabular,Snowflake则推出了Polaris开源目录服务,进一步拓展各自的业务版图。
DuckDB在Postgres的集成成为一大亮点。2024年,Crunchy Data、ParadeDB等公司相继推出了将DuckDB集成到Postgres的扩展,如Crunchy Data的专有扩展、ParadeDB的pg_analytics等,这些扩展显著提升了Postgres在OLAP(在线分析处理)方面的能力,使其在数据分析和实时查询等场景中的表现更加出色,进一步巩固了Postgres在数据库市场的地位。
收购与融资方面,2024年数据库领域发生了多起重要收购案和融资事件。Databricks以20亿美元收购了Tabular,ClickHouse收购了PeerDB等,这些收购进一步整合了市场资源,推动了相关技术的发展和应用。同时,Databricks完成了100亿美元的J轮融资,其他如LanceDB、SDF等初创公司也获得了不同规模的融资,为数据库技术的创新和发展注入了新的活力。
总体来看,2024年数据库领域呈现出多元化、竞争激烈的发展态势,云厂商与开源数据库公司的商业模式冲突成为行业焦点,未来数据库市场的格局将继续演变,技术革新和市场需求将推动行业不断前行。
Top 15 中国互联网公司首次全部盈利,但姿势更受考验了
2024年,中国前15大互联网公司首次全部实现盈利,标志着行业的整体繁荣。腾讯、字节跳动、阿里巴巴等巨头凭借其在各自领域的卓越实力,取得了显著的盈利增长。腾讯控股净利润同比增长47%,达到532.3亿元,继续领跑行业;阿里巴巴和拼多多分别实现净利润435.47亿元和249.807亿元,同比增长63%和61%;美团更是以258%的净利润同比增长率,成为行业的一大亮点。然而,盈利的背后也隐藏着增长放缓和分配问题等挑战,互联网公司需要在创造经济价值的同时,积极回应社会对其平台责任的更高要求,如减少对平台参与者的抽成、提高其收入等。
为了应对这些挑战,各大互联网公司纷纷采取了一系列措施。腾讯在微信推出“送礼物”功能,不追求爆发式增长,而是计划用五年时间慢慢打磨产品,与所有业务相融合,以稳健的方式拓展业务边界。字节跳动则通过AI技术重回一线,推出多款AI产品,覆盖各种使用场景,并在大模型、AI芯片、AI硬件等方面进行饱和式投入,以技术创新为驱动,增强公司的核心竞争力。阿里巴巴经过近两年的转型,重新定位淘宝,试图走出低价内卷,让商家因稳定经营利润而留下,从而实现平台的可持续发展。拼多多在投资者面前表达谨慎情绪,避免了成为行业第一的潜在麻烦,同时在三大主要业务上维持优势,以稳健的策略应对激烈的市场竞争。
美团面对宏观环境变化,推出“神会员”和低价外卖“拼好饭”,通过平台补贴和优惠活动确保消费者付款低于常规价格,同时重组公司,合并到店、到家事业群及基础平台至“核心本地商业”板块,以提高运营效率和市场竞争力。 Shein在服饰行业天花板有限的情况下,尝试平台化,拓展非服饰品类,但面临Temu等竞争对手的挑战,需要不断创新以确保竞争优势。网易在游戏业务上遭遇挑战,丁磊重回业务一线,调整策略,减少小众项目,增加对大DAU项目的投入,以期在游戏行业中重新站稳脚跟。京东作为国补政策的最大受益者,通过派采销进工厂、给工厂确定性订单等方式,从生产环节上省成本,实现低价送货上门,以低价战略赢得消费者和商家的信任,推动平台的持续增长。
总体来看,中国互联网公司在2024年取得了显著的盈利成绩,但同时也面临着诸多挑战。这些公司需要在追求增长的同时,积极适应社会对企业价值的重新评估,承担起更多的社会责任,以实现可持续发展。通过技术创新、业务调整和战略转型等多方面的努力,互联网公司有望在新的市场环境中找到新的增长点,为社会创造更大的价值。
谷歌研究科学家意外离世,两月前留下绝笔:从事大模型研究让我深陷抑郁症
谷歌 DeepMind 的研究科学家菲利克斯·希尔因长期与严重精神疾病斗争而意外去世。他生前在博客中表达了对人工智能行业压力的担忧,认为行业的快速发展给研究人员带来了巨大的期望和压力,不仅来自工作本身,还包括社交场合的不断关注。菲利克斯呼吁人工智能领域应注重合作与共同进步,而非恶性竞争,以减轻研究人员的压力和焦虑。他分享了自己在研究中经历的压力和焦虑,包括社交焦虑和工作压力,希望帮助其他研究人员应对类似挑战,共同创造一个更加健康和积极的研究环境。
技术博客
NAT 遍历的工作原理(英文)
文章详细探讨了如何在复杂的网络环境中实现网络地址转换(NAT)穿越,以便设备之间能够建立直接的通信连接。文章首先指出,许多应用如VPN、WebRTC和VoIP需要设备之间进行直接通信,而NAT设备的存在使得这一过程变得复杂。为了实现NAT穿越,建议使用基于UDP的协议,因为UDP比TCP更简单且易于实现。如果需要流式连接,可以考虑使用QUIC协议,它基于UDP但提供了流式传输的功能。
文章接着讨论了状态防火墙的挑战。状态防火墙会记录之前见过的数据包,并根据这些信息决定是否允许新的数据包通过。对于UDP,防火墙允许入站数据包的前提是之前有匹配的出站数据包。通过同时发送数据包来打开防火墙,设备可以在不需要手动配置防火墙的情况下实现互相通信。
NAT设备的挑战在于它们会为每个不同的目的地创建不同的NAT映射,这使得直接通信变得困难。STUN协议被用于发现设备在互联网上的公共IP和端口。通过向STUN服务器发送请求,设备可以了解自己在外部网络中的映射信息。NAT设备根据其行为可以分为Endpoint-Independent Mapping(EIM)和Endpoint-Dependent Mapping(EDM)。EIM类型的NAT更容易穿越,而EDM类型的NAT更具挑战性。
为了提高NAT穿越的成功率,文章介绍了生日悖论的应用。通过在硬NAT设备上打开多个端口,并让易NAT设备随机探测这些端口,可以提高成功穿越NAT的概率。此外,端口映射协议如UPnP IGD、NAT-PMP和PCP可以请求NAT设备创建端口映射,从而简化NAT穿越过程。
在复杂网络环境下,设备可能位于多个NAT设备之后,这增加了NAT穿越的复杂性。CGNAT(运营商级NAT)是由于IPv4地址不足而产生的,它使得用户无法手动配置端口映射。尽管IPv6提供了解决NAT问题的潜力,但在当前的网络环境中,IPv6的普及程度有限,因此仍然需要处理IPv4和NAT的问题。
最后,文章介绍了ICE协议,它通过尝试所有可能的路径,并选择最佳的工作路径来实现设备之间的通信。ICE协议提供了一种优雅的算法来确定最佳的通信路径,使得在大多数情况下可以实现设备之间的直接连接。对于无法直接连接的情况,可以使用中继服务器作为备份方案。文章强调,尽管NAT穿越的过程复杂且充满挑战,但通过结合多种技术和策略,可以在大多数情况下实现设备之间的直接连接。
开源项目
cherry-studio:LLM桌面客户端
Cherry Studio 是一款支持多个大型语言模型 (LLM) 提供商的桌面客户端,适用于 Windows、Mac 和 Linux 系统。它集成了多种 AI 功能,包括预配置的 AI 助手、多模型对话、文档处理等,并提供了全局搜索、主题管理等实用工具。
cline:编程智能体插件
Cline 是一款集成在开发环境中的 AI 助手,能够执行文件创建与编辑、终端命令执行、网页操作等多种任务。它借助 Claude 3.5 Sonnet 的能力,通过分析项目文件结构和代码抽象语法树等,快速熟悉现有项目,并在执行任务时实时监控并修复代码错误。Cline 还支持扩展自定义工具,以适应不同的工作流程需求,同时提供丰富的 API 集成选项,兼容 OpenRouter、OpenAI 等多种 API 服务,助力开发者高效完成复杂软件开发任务。
jan:本地AI助手
Jan 是一个 ChatGPT 的替代方案,可以在桌面上 100% 离线运行。目标是让外行 1 轻松下载和运行 LLM,并在完全控制和隐私的情况下使用 AI。
工具推荐
MAC青桔:软件下载站
Mac青桔网是一个专注于苹果电脑用户的资源分享平台,提供各类Mac软件、游戏、插件、表盘和壁纸等资源。网站拥有丰富的资源分类,包括系统工具、图形设计、游戏等,致力于为用户提供便捷的下载服务。此外,网站还提供一些实用的教程和技巧文章,帮助用户更好地使用Mac电脑。用户可以通过签到获取桔币,兑换更多下载次数和权益,也可选择加入会员获取更多资源和服务。
Moodist:白噪声
Moodist是一款免费且开源的环境声音生成器,旨在通过78种精心策划的声音帮助用户放松和集中注意力。用户可以根据自己的需求选择和混合各种声音,如自然声音、城市声音和专注工具等,以创建个性化的音频体验。
BabelDuck:AI口语对话
BabelDuck 是一款 AI 对话练习应用程序,专为所有熟练程度的语言学习者设计。除了常规的 AI 聊天功能外,还提供了一套专为口语练习场景设计的工具。
学习资源
正确认识 Git
通过教程、新闻和提示学习 Git。
Cursor 教程
Cursor的学习教程。
Datawhale:开源AI学习
Datawhale是一个致力于通过开源学习模式推动AI人才培养的平台。它为AI学习者提供多条学习路径,涵盖数据分析、计算机视觉、自然语言处理等领域。此外,Datawhale还提供了一系列AI学习课程,包括面向开发者的LLM入门课程、大模型应用开发教程等,旨在帮助不同水平的学习者快速掌握AI相关技能。平台还设有活动、认证和资讯板块,促进学习者之间的交流与合作。
随便看看
图灵机(英文)
这篇文章详细介绍了图灵机的概念、工作原理以及其在计算理论中的重要性。图灵机是由艾伦·图灵在1936年提出的理论计算模型,旨在解决“判定问题”,即是否存在一个算法可以判断数学命题的正确性。图灵机由一个无限长的纸带、一个读写头、一个程序和一个状态组成,其基本操作包括打印符号、移动头、跳转状态和停止。
文章通过具体的示例程序,展示了图灵机如何进行简单的计算任务,如打印数字和执行加法运算。这些示例说明了图灵机的基本操作和如何通过状态和符号的组合实现复杂的计算逻辑。图灵机的简单性和强大的计算能力使其成为研究可计算性问题的理想工具。
可计算性是指如果存在一个算法可以从给定的输入得到预期的输出,则该问题是可计算的。图灵完备性是指一个系统能够模拟图灵机,从而能够执行任何可计算的计算。尽管图灵机在实际应用中并不实用,但其理论基础对现代计算机的发展具有重要意义。
文章还探讨了现代计算机与图灵机的关系。现代计算机在某些方面与图灵机相似,例如使用二进制和通过简单的指令集进行计算。然而,现代计算机具有寄存器等额外功能,使其在执行复杂任务时更加高效。通过一个示例,文章展示了如何在图灵机上实现类似于现代汇编语言的操作,从而说明了图灵机与现代计算机之间的联系。
最后,文章回顾了艾伦·图灵的生平和贡献。图灵是计算机科学的先驱之一,他在第二次世界大战期间参与了破解德国海军的恩尼格玛密码的工作。图灵的工作不仅在理论上奠定了计算机科学的基础,还对密码学和人工智能等领域产生了深远影响。尽管图灵在1954年因氰化物中毒而去世,但他的贡献仍然被广泛认可和纪念。文章还提供了进一步阅读的建议,以帮助读者更深入地了解图灵机和图灵的贡献。
我是如何从零开始手搓一个独立游戏并上架 Steam 的
本文详细记录了一位独立游戏开发者从构思到成功上架 Steam 的全过程。作者在 2019 年因对加班文化的不满,萌生了制作一款名为“中国式加班”的游戏的想法。最初,他尝试使用前端技术制作 DEMO,但由于美术资源成本高昂,项目一度搁浅。2022 年,作者利用 stable diffusion 和 Chatgpt 等 AI 技术,解决了美术资源的生成问题,降低了开发成本。他从头开发了一个简单的游戏引擎,核心是事件脚本系统,并使用 React 重构了游戏界面。
在游戏开发过程中,作者设计了多个角色,每个角色都有独特的背景和剧情。但由于开发时间限制,最终减少了可游玩角色的数量。游戏以模拟经营为主,背景音乐和主题曲也通过 AI 生成,解决了传统音乐素材成本高的问题。为了支持多国语言,作者利用 AI 翻译工具批量翻译游戏文本,支持简体中文、繁体中文、英语和日语。此外,他还学习并使用 Cordova 将游戏移植到安卓平台,解决了兼容性问题。
2025 年 1 月 1 日,游戏成功在 Steam 上线。作者注册了 Steamworks 账号,完成了税务信息和商店页面的制作,并经历了审核和修改的过程。游戏上线后,获得了玩家的好评。作者也分享了自己的发行经验和反思,强调了在开发过程中坚持和创新的重要性。通过这篇文章,读者可以深入了解独立游戏开发的艰辛与乐趣,以及 AI 技术在游戏开发中的应用前景。
2024年大模型回顾(英文)
2024 年,LLMs 在多个方面取得了显著进展。首先,GPT-4 的技术障碍被打破,18 个组织推出了更强大的模型,如 Google 的 Gemini 1.5 Pro,这些模型不仅在文本生成上表现出色,还引入了多模态能力,能够处理图像、音频和视频输入。其次,市场竞争和效率提升导致 LLM 使用成本大幅下降,例如 OpenAI 的 GPT-4o 模型价格比 GPT-4 便宜 12 倍,使得更多企业和个人能够负担得起高性能 LLMs 的费用。此外,LLMs 在应用生成方面的潜力得到了进一步挖掘,能够通过提示生成完整的交互式应用程序,如 Anthropic 的 Claude Artifacts。 尽管如此,LLMs 的快速发展也带来了环境和社会挑战,如数据中心建设对环境的影响以及“slop”现象的出现,即未请求且未经审核的 AI 生成内容可能导致信息泛滥和误导。此外,对 LLMs 的了解在不同人群中分布不均,需要更合理的批评和指导来帮助人们更好地理解和使用这些工具。