AIに強いインフラエンジニアになりたい (@konosukebackend) header
AIに強いインフラエンジニアになりたい (@konosukebackend) profile picture

大学院 エッジSLM研究してます 3年ほどなんちゃってエンジニアしてた AWS/IoT/Security/最近はローカルLLM

Joined August 2023
Photo by AIに強いインフラエンジニアになりたい (@konosukebackend)Photo by AIに強いインフラエンジニアになりたい (@konosukebackend)Photo by AIに強いインフラエンジニアになりたい (@konosukebackend)Photo by AIに強いインフラエンジニアになりたい (@konosukebackend)Photo by AIに強いインフラエンジニアになりたい (@konosukebackend)Photo by AIに強いインフラエンジニアになりたい (@konosukebackend)Photo by AIに強いインフラエンジニアになりたい (@konosukebackend)Photo by AIに強いインフラエンジニアになりたい (@konosukebackend)Photo by AIに強いインフラエンジニアになりたい (@konosukebackend)Photo by AIに強いインフラエンジニアになりたい (@konosukebackend)
セキュリティに特化した生成AIの資格取らないと社内のモデル使えないような仕組みにしましょう
1
57
エンジニア歴3年目ではあるけど時間的に見たら実質1.5年なんよな、、これから1年とちょっとってことにしよ
8
164
vLLMのスケジューラとStrataのいいところ全部統合したのないのかな
1
99
長期間かつ賞金ありのハッカソンでるなら自分でビジネス展開した方がいい気がする
1
81
うんうんなんでその環境が手元にあるんですか?😂
ローカルLLMでAIエージェントを速くしていくと、待ち時間の主役は入力の読み込みから回答の生成へ移っていきます。 RTX 5070 12GB+RTX 5060 Ti 16GB、Qwen3.8-Flash-Next(IQ2_XS)、Strataの構成でOpenCodeに小さなCLIを作らせたところ、約197秒のうち生成が約161秒(83%)、読み込みは約33秒(17%)でした。 それまでの入力を再利用できているため、新しく読み込む量は少なく済んでいます。 こうなると、次に効いてくるのはモデルがどれだけトークンを生成するかです。思考モードで長く考えるほど生成量が増え、そのまま作業時間に乗ってきます。 今回はOpenCode側で reasoningEffort を low にしていました。 読み込みの対策が済んだら、次は reasoning_effort や reasoning_budget_tokens の調整が効いてくると考えられます。計測は1回です。
82
LLM関連の深堀終わったら音声か画像かどっち行くか迷う、どっちがアツいのだ
50
まさにこれだなと思います 小規模システムの技術的なところいじったところで誰も喜ばない(ビジネス価値が薄い)ので多くのユーザを抱えるプロダクトに惹かれますね
Anthropicを見ていると、やっぱり適切な技術課題がある会社でエンジニアをやるのは面白いよなと思う。 例えば、彼らが解決している技術課題も、小規模な会社が「Gitの代替を作りました」と言ったところで、ビジネス的な価値はほとんどない。でも、彼らの規模だからこそ、その技術課題を解決することに莫大なビジネス的価値が生まれる。 「エンジニアのキャリア地図」でも書いたけど、適切な会社に行けば、その事業規模だからこそ生まれる技術的な課題があって、それをエンジニアが主体的に解決できる。 これこそエンジニアという仕事の面白さだと思うんですよね。 ビジネスサイドから降ってきた要件をただ実装するのと、自分たちで技術課題を発見し、解決することで事業に大きなインパクトを与えるのとでは、仕事の面白さが全然違う。
1
6
900
質の高い論文は質の高いアイデアを産む
1
1
69
おそらくセキュリティ診断に強いAIが流行るからキャッチアップしてるけど多いな、、どれが流行るのだろうか
2
65
インターン終わったらClaudeCodeの課金枠増やそうかな、12月からバイト応募しないと
3
107
価値観や考え方が違っても、相手への敬意を失わない人でありたい 自分が人間関係で大切にしたい考え方の一つだなと最近感じた 逆にそうじゃない方とは合わないなとも思った
4
94
これでコスト削減の記事は見たことあるのですが実際に企業に導入している事例をまだ知らないですね、
Fargateスポットインスタンスでセルフホストランナー立てちゃおうかな…笑
4
217
製造業向けのAI基盤気になる
【速報】日鉄ソリューションズ、Anthropicと提携 ・協定は10/1発効、日本製鉄の業務にAIエージェントを活用へ ・製造業など向けのAI基盤を2027年3月期中にも販売 ・グループの技術者1万人超もClaudeを活用へ
3
148
NPUのアクセラレータ持っているのですが需要ないのですかね、、やっぱLLM回すならGX10とかDGXSparkとかのGPUサーバがいいのか
104
ローカルLLM界隈入ったけどチャンネル多すぎ笑
121
結局大規模システムをフルスタックで広範囲に出来る人材になりたくなってきた?? AI×インフラは趣味でやるしかねえ
1
1
151