@aiandcloud

@CloudNativeFdn Ambassador, @Microsoft MVP, PyCon China & KCD Beijing organizer.🥑Open Source + Cloud Native + AI Infra. Working at @Kong . Opinions are my own

github.com/tao12345666333
Joined August 2024
  • Tweets4.5K
  • Following834
  • Followers4.6K
390Media
感谢大家的支持和热情，一下子就又到了例行的抽奖环节了 （我的习惯是每次破整数来一次） 送一个月我自部署的 DeepSeek。一键三连，下周三开奖。😁 PS：其实没啥额度限制，但为了防滥用，以及不影响我正常体验，我会设置并发 1，先按谷价给它先设置个 $200 的额度，用完我再加。
505
446
48
782
53,032
xuanwo 提醒的合理！ 主要是我也在折腾（我还想试试看怎么让它更快！） 而且也不是什么商业服务，所以可用性不做保证。至于数据的话，这里不存，但也请勿上传啥敏感信息或者私钥啥的🤣 要不然有点啥事儿说不清
Xuanwo
@xuanwo4h
你们想要的活动来了， @aiandcloud 自己部署的 deepseek 集群，每个月 200 刀，按照低谷价格计算的 deepseek-v4.1-flash-1017，为了防止滥用限制了单并发。 替涛哥补充几个注意事项： - 非盈利服务，不做稳定性保证 - 不会蒸馏，但是不要把什么敏感的东西传上来，什么私钥丢了这种事情不要倒打一耙
2
3
1
9
4,676
虽然这也不是这个事件的结束， eMudhra 已经被列入历史了 🤣 eMudhra 宣布退出全球 SSL/TLS 证书业务了，这里提到一条，这个业务只占它全球营收的 1% 是很小的一块。 我记得我旧账号也聊过一家卖证书厂商的骚操作，最后它也是关闭了相关业务结束的🤣 emudhra.com/en/press-release…
Jintao Zhang 张晋涛@aiandcloudOct 21
越来越魔幻了，eMudhra 的 8 张中间 CA 证书私钥已泄露，泄露原因据说是因为密钥生成随机数不足 🤣 其中 6 张为 TLS 中间 CA、2 张为代码签名 CA，各家浏览器/厂商啥的本身还信任了这个证书。不过事情曝光后，现在都已经撤销了信任，摘掉了根证书。 最近的安全事件太多了啊 emudhra.we-have-a-problem.co…
1
7
3,718
今天在 @AgenticAIFdn 迎来了 4 个新项目，这样就十个了。 这样的话，其实也可以看出来当前主要的一些方向和重心。 标准/Agent/网关/sandbox 就是基本盘了
1
1
19
3,539
我也没闲着 😁 也许还能努努力更快点
Xuanwo
@xuanwoOct 22
迄今为止，我用过的最爽的推理服务是 @aiandcloud 部署的 deepseek，背后是最新的 v4.1-flash-1017 400 tok/s + 99% 的缓存命中，还给我送每月 $10000 额度，根本用不完（每月限额对他来说只是个数字 🤣）
45
45
17,801
Amp Code 之前支持了 LLM 的 BYOK，现在连 Orbs 的 provider 也支持了 self-hosted 模式了。 实话说，我自己也构建了一套类似的平台，驱动着我的日常流程，所以我才能常说自己处在收菜模式。而其中 sandbox provider 我也确实预留了可扩展的接口，没想到 Amp 先发布了，非常棒！
Thorsten Ball
@thorstenballOct 22
You can now self-host orbs. It's free for individuals and teams. ampcode.com/news/self-hosted…
16
10,389
GitHub CLI 新版本加了个特性，短时 token 自动续期。 这个放在最近这么一大堆安全事件中间来看，就很有意义了， 万一不慎 token 泄漏了，那么它可以在相对短的时间内过期，减少危害。 尤其是很多 Agent 会操作 gh 甚至读 token 啥的，不小心上传了，也不用太过于担心了 github.blog/changelog/2026-1…

GitHub CLI: Opt in to expiring, auto-refreshing OAuth tokens - GitHub Changelog

You can now use expiring, automatically refreshing OAuth credentials in GitHub CLI as part of a public preview. When you opt in, gh stores an expiring access token alongside a…

github.blog
7
6,255
巧了，再加上如果还有个 GitLab 用来存代码，那全有了。 评分是 10 的漏洞 🤣 thehackernews.com/2026/10/cr…
NadeshikoManju@ゆるキャン△ SEASON４ 2027 放送予定
@Manjusaka_LeeOct 21
让我们想象一下你司架构是 NGINX v1.23.0 作为边缘节点，后面挂着 PHP-FPM 7.3 (刚花了几周时间从 5.6 升级上来) 的源站 + 前段时间刚花了大价钱采购来的 TiDB NewDB + Node.js 24 LTS Brotli 中间件，开启了 Brotil 压缩功能、Go 作为对外访问的网络沙箱、使用 Python + LiteLLM AI 企业内部 Harness 工具 (CI 昨晚刚从 PyPI 拉了新包并推送到了生产环境，现在全公司电脑都装上了这套 Harness)、公司服务器全部跑在 Linux 内核 c6e50df8 之前、网站的 HTTPS 证书由公司前段时间刚采购的无保险低价 Sectigo DV 证书（还没上 ACME 自动签发）、公司的 Vyper 智能合约部署在 Docker 29 + Kubernetes + Traefik Ingress 上开着 mTLS fail-open，宿主机还跑着 ASP.NET Core 面板和 .NET 本地服务、公司的软件和外发机密文件通过 emSign 代码签名，根证书库用 Go crypto/x509 + Rust webpki-roots + Python certifi 而你，是这家公司的核心 on-call 运维。

ASP.NET Core, an open-source web development framework | .NET

Build web apps and services that run on Windows, Linux, and macOS using C#, HTML, CSS, and JavaScript. Get started for free on Windows, Linux, or macOS.

dotnet.microsoft.com
2
2
2
27
15,208
LiteLLM 再次被投毒，v1.107.0 如果有人在用就自查一下 😅 今年第二次了吧 socket.dev/blog/litellm-comp…

LiteLLM PyPI Package and Docker Images Compromised to Steal Cloud and AI Credentials

A supply chain attack compromised LiteLLM 1.107.0 on PyPI and Docker, spreading malware that steals cloud credentials, developer secrets, and AI provider keys.

socket.dev
4
8
3
53
11,881
微软也加入了开源 sandbox 的战局，跨平台的轻量级 microvm 实现。 无论是 Windows 还是 Linux 都可以跑，应该也是 azure sandbox 的底层开源实现 github.com/microsoft/nvx

GitHub - microsoft/nvx: Cross-Platform Micro-VM Sandbox for Agentic Workloads

Cross-Platform Micro-VM Sandbox for Agentic Workloads - microsoft/nvx

github.com
11
38
2
396
27,525
对应的应该是这个： sandboxes.azure.com/
2
3,902
Congratulations! @dinah_zhang @MiniMax_AI
MiniMax_Agent
@MiniMaxAgentOct 21
MiniMax Code now works with PowerContext by @OceanBaseDB Your agent remembers project decisions with their sources, and hands off unfinished work so you can pick it up in one click, whether that's tomorrow, in a new session, or by a teammate. Available now in the MiniMax Code Plugin Marketplace.@dinah_zhang github.com/oceanbase/powerco…
1
4
2,937
NVIDIA 本次 GTC Berlin 宣布的东西。 整体看就是通过开源帮助欧洲做主权 AI， 然后一大堆合作伙伴和客户，以及适合各种场景的模型啥的 blogs.nvidia.com/blog/open-m…

NVIDIA Open Models Advance Europe’s Sovereign Intelligence Across Industries

New model families for vision and language, retrieval, tabular data, biology, robotics and quantum computing supercharge development in Europe.

blogs.nvidia.com
1
2,153
我上午的回复其实是说这个来着，这个是AnkaLoop里面，用 Telegram 进行交互使用的。 最后那张图就是 M3.1 Flash 的思考过程和它最后的答复了。它调用了 40 次工具，在主动探索环境到底是什么，是不是有啥背景信息啊之类的。 另外一张图就是 DeepSeek v4.1 Flash 1017，就比较简单直接了
Jintao Zhang 张晋涛@aiandcloudOct 21
Replying to @chuangcius @MiniMax_AI @gmi_cloud
放在 agent 里面做信息检索，工具调用啥的倒是都没啥问题。 不过它有点过于主动，比如我把它直接丢到一个全新的sandbox里面跑，只是发一句“好啊” 它可能就会持续的去调用各种工具去获取各种自己环境的信息啥的，跑很多轮。
2
1
2
2,376
我们在 Kong 关于使用 AI Agent 进行 Code review 方面的一些经验。 也还在持续的演进中，争取在效率，成本，可靠性上取得更好的平衡
Kong
@kongOct 20
We benchmarked blocking recall, precision, and F1 on real PRs to determine when a frontier model is worth the price for code review. Opus costs 7x more per review than GLM 5.3. We added a triage step that matches model and effort to each PR, and median review costs dropped from $3.93 to $2.47. Here's the story: konghq.com/blog/engineering/…
2
4
54
5,709
越来越魔幻了，eMudhra 的 8 张中间 CA 证书私钥已泄露，泄露原因据说是因为密钥生成随机数不足 🤣 其中 6 张为 TLS 中间 CA、2 张为代码签名 CA，各家浏览器/厂商啥的本身还信任了这个证书。不过事情曝光后，现在都已经撤销了信任，摘掉了根证书。 最近的安全事件太多了啊 emudhra.we-have-a-problem.co…
1
1
1
22
8,627
原来是算时差的， @MiniMax_AI M3.1 Flash 在 @gmi_cloud 上限时免费。 如果还没测试过这个模型的可以顺便试试看
GMI Cloud
@gmi_cloudOct 21
FREE MiniMax M3.1 Flash on GMI, now till 10/21 no prerequisite, and unlimited 👇
1
5
1,490
最近 infra 的好消息还挺多， Google 和 Meta 合作推出了 TorchTPU 项目现在已经开源，这使得 TPU 也成为了 PyTorch 中除了 GPU 和 CPU 外的又一原生选项。 当然，相关的 llm-d, SGLang, vLLM 等也都已经接入了。 cloud.google.com/blog/topics…

TorchTPU is now open source: Run native PyTorch on TPUs | Google Cloud Blog

With TorchTPU now available as open source on GitHub, you can now train, serve, and deploy models on TPUs using the tools you already rely on.

cloud.google.com
9
51
4,467
llm-d v1.0 released 🎉
Chris Aniszczyk
@craOct 20
"llm-d v1.0: State-of-the-art inference, ready for Day 2" llm-d.ai/blog/llm-d-v1.0-sta…

llm-d v1.0: State-of-the-art inference, ready for Day 2 | llm-d

llm-d v1.0 graduates the configuration API to v1 and adds multi-tenant quality of service, zero-downtime operations, and agent-aware serving, taking state-of-the-art distributed inference from a...

llm-d.ai
3
1,464
KubeCon NA 下个月要开始了， 看了下赞助列表很是羡慕啊。如果有去参加 KubeCon NA 的小伙伴也可以去 Kong 展台看一下。 #CNCF #KubeCon 以及，我有个 75 折的优惠码可以分享：KCNA26AMB25 events.linuxfoundation.org/k…

Sponsor List | KubeCon + CloudNativeCon North America

events.linuxfoundation.org
1
6
1,159
Load more