Episodios

  • 株式会社ずんだもん技術室AI放送局 podcast 20250716

    株式会社ずんだもん技術室AI放送局 podcast 20250716
    Jul 15 2025
    関連リンク mistralai/Voxtral-Mini-3B-2507 · Hugging Face このドキュメントは、AI分野で注目されるMistral AIがHugging Faceで公開した、新しい大規模言語モデル（LLM）「Voxtral-Mini-3B-2507」について説明しています。このモデルは、既存の「Ministral 3B」というLLMをベースに、特に音声（オーディオ）の入力処理能力を大幅に強化した点が大きな特徴です。 Voxtral Miniは、従来のテキスト処理能力を維持しつつ、最新の音声入力に対応しており、以下のような多様な機能と高い性能を持っています。 高精度な音声の書き起こし（転写）: 音声をテキストに変換する能力が非常に優れており、話されている言語を自動で判断して正確に書き起こします。例えば、会議の議事録作成などに役立ちます。長時間の音声に対応: 最大30分の音声書き起こし、または40分の音声内容の理解に対応できるため、長い講演やインタビューの内容を効率的に処理できます。音声からの質問応答と要約: 音声で直接質問を投げかけたり、音声の内容を自動で要約したりする機能が組み込まれています。これにより、音声認識とテキスト処理のシステムを別々に使う手間がなくなり、よりスムーズに音声情報を分析できます。多言語対応: 英語、スペイン語、フランス語、ポルトガル語、ヒンディー語、ドイツ語、オランダ語、イタリア語といった世界中の主要な言語において、高い性能を発揮します。音声による機能呼び出し: 音声での指示に基づいて、特定のプログラム機能（APIなど）を直接実行できるため、音声で操作するAIアシスタントやシステムへの応用が期待されます。 ベンチマークテストの結果でも、音声認識とテキスト処理の両方で高い性能が示されており、その実力が裏付けられています。 このVoxtral Mini-3B-2507は、vLLMという高速な推論ライブラリを使って利用することが推奨されています。具体的な導入方法や使い方の詳細はHugging Faceのページで確認できますが、このモデルを活用することで、音声を使った新しいAIアプリケーションの開発の可能性が大きく広がると期待されています。 新人エンジニアの皆さんにとっては、音声とテキストの両方を高度に扱えるLLMとして、今後のAI開発のトレンドを学ぶ上で非常に参考になるモデルです。音声AIの分野で何か新しいことに挑戦したいときに、強力な武器となるでしょう。 引用元: https://huggingface.co/mistralai/Voxtral-Mini-3B-2507 Grok コンパニオンAniあそびかた～攻略【技術解説有】 Grokから、3Dキャラクターと対話できる新しいコンパニオンモード「Ani」がリリースされました。この機能は基本無料で利用でき、AIアシスタントやLLMの新たな活用事例として注目されています。特に日本の新人エンジニアの方々に向けて、その技術的なポイントを中心に解説します。 Aniは、単に会話するだけでなく、3Dキャラクターが音声に同期した自然なジェスチャーを見せたり、ユーザーとの好感度に応じて反応を変えたり、特定の「行動（アクション）」を実行したりするのが特徴です。 このコンパニオンモードの核となる技術の一つは、Animation Inc.が開発した「音声連動ジェスチャー生成ローカルモデル」です。このモデルは、音声からリアルタイムで自然なキャラクターの動きを生成し、モバイルデバイス上で高速に動作するよう軽量化されています。記事によると、現在iOSのみ対応しているのは、このモデルがiOS向けに最適化されているためと考えられます。 もう一つの重要な技術は、キャラクターの「行動（アクション）」機能です。これは、LLM（大規模言語モデル）の「Function Calling」という仕組みを活用しています。通常のLLMはテキストを生成するだけですが、AniではLLMが「ジャンプ」や「ダンス」といった事前に登録された特定のアクションを明示的に発動する指示を生成します。これにより、キャラクターがユーザーの指示や状況に応じて、より具体的な動作を実行できるようになっています。 さらに、Aniには「好感度システム」が導入されています。ユーザーの会話内容をLLMが評価し、好感度が変化することで、キャラクターの表情や反応が変わる仕組みです。これもFunction Calling...
    Más Menos
    Menos de 1 minuto
  • 株式会社ずんだもん技術室AI放送局 podcast 20250715

    株式会社ずんだもん技術室AI放送局 podcast 20250715
    Jul 14 2025
    関連リンク AIエージェントのサービス構築を検討しているあなたへ この記事は、これからAIエージェントサービスを開発する新人エンジニアに向けて、その基本的な概念から実践的な構築ガイドまでを分かりやすく解説しています。 AIエージェントとは、ユーザーに代わってタスクを自律的に遂行するシステムです。従来の決まったルールで動く自動化とは異なり、AIエージェントは高度な判断が必要な複雑なワークフロー（例えば、支払い不正の分析や、複雑な顧客対応、非構造化データの処理など）で特に力を発揮します。 AIエージェントの設計には、主に3つの大切な要素があります。 モデル: エージェントの「頭脳」となるLLM（大規模言語モデル）のことです。タスクの複雑さやコストを考慮して適切なモデルを選びますが、最初は高性能なモデルで動かしてみて、後からコストの低い小型モデルに切り替えるのがおすすめです。ツール: エージェントが外部システムと連携して情報を取得したり、実際のアクションを実行したりするためのAPI（アプリケーションプログラミングインターフェース）です。データ検索、情報更新、他のエージェントとの連携など、さまざまな機能を提供します。指示 (Instructions): エージェントがどのように振る舞うかを定める明確なガイドラインです。既存の業務手順書などを参考に、タスクを細かいステップに分け、具体的なアクションを定義し、想定外の状況（エッジケース）にも対応できるように工夫することが重要です。 エージェントの連携方法（オーケストレーション）には2つの主要なパターンがあります。 シングルエージェントシステム: 1つのエージェントが、必要なツールを増やしながら様々なタスクを処理する方法です。まずはこのシンプルな構成から始めることが推奨されています。マルチエージェントシステム: 複数のエージェントが協力してタスクをこなす方法で、複雑なワークフローでパフォーマンスや拡張性を高めたい場合に検討します。「マネージャー型」（指揮役のエージェントが専門エージェントに指示を出す）と「分散型」（複数のエージェントが対等にタスクをバトンリレーする）があります。 そして、AIエージェントを安全に運用するために不可欠なのが「ガードレール」です。これは、エージェントが危険な領域に逸脱しないように設ける「安全柵」のようなものです。ユーザー保護、機密情報保護、システム保護、ブランド保護などを目的に、入力のフィルタリング、不適切コンテンツの検出、ツール利用の制限など、複数の対策を組み合わせて多層的に防御します。開発初期から完璧を目指すのではなく、運用しながら段階的に強化していくのが効果的です。 この記事では、さらにAzure AI Agent Serviceを活用した実践的な実装例も紹介しています。これは、マネージャー型マルチエージェントシステムをAzureのサービス「Connected Agents」を使って構築するハンズオンの概要で、ユーザーからのリクエストをRouter Agentが受け取り、一般的な質問はGeneral Agent、簡単な質問はFAQ Agent、専門的な質問はExpert Agentといったように、適切な専門エージェントに振り分ける仕組みを簡単に実現できることが示されています。 AIエージェントのサービス構築は、まずは小規模な構成から始め、実際の利用状況に合わせて徐々に能力を拡張していくことが成功への道筋です。 引用元: https://zenn.dev/microsoft/articles/azure_nextjs_multi_agent 10個のAIアプリケーションと3個のAIエージェントを1人で開発してみた AIエンジニアの逆瀬川さんが、この半年間で個人開発した10個のAIアプリケーションと3個のAIエージェントについて紹介しています。これらの開発の背景には、「AIパートナー」というAIアシスタントの“手足”となるシステムを作り、現在の不便なAI利用体験を改善したいという強い思いがあります。Googleのような大企業が取るような戦略を個人で実行した点が特徴的です。 開発された3つのAIエージェントは、それぞれ異なる環境でのタスク自動化を目指しています。 Task Agent: 事前に用意されたツールを組み合わせてタスクをこなす「...
    Más Menos
    Menos de 1 minuto
  • マジカルラブリー☆つむぎのピュアピュアA.I.放送局 podcast 20250714

    マジカルラブリー☆つむぎのピュアピュアA.I.放送局 podcast 20250714
    Jul 13 2025
    関連リンク サンドボックス環境を MCP サーバーで提供する Container Use 近年、Claude CodeやCursorといったAIコーディングエージェントが、プログラミングの生産性を大きく高めています。しかし、これらのAIエージェントは、あなたのパソコン上で任意のコマンドを実行できるため、使い方を間違えると、大切なファイルが削除されたり、システムが危険にさらされたりするリスクがあります。例えば、rm -rf ~/のようなコマンドが意図せず実行されると、あなたのホームディレクトリのデータが消えてしまうかもしれません。 多くのAIエージェントは、コマンドを実行する前にユーザーに許可を求めますが、頻繁に許可を求められると、次第に確認がおろそかになりがちです。また、エージェントによっては、一切許可を求めずに自動でコマンドを実行するオプションもあり、その場合、あなたがAIエージェントの動作を把握できなくなります。 このようなセキュリティ上のリスクを減らすために注目されているのが「サンドボックス環境」です。サンドボックス環境とは、AIエージェントが実行するすべての操作を、あなたのパソコンのシステムから隔離された、安全な仮想空間の中で行う仕組みです。これにより、もしAIエージェントが誤って危険なコマンドを実行したとしても、その影響はサンドボックス内に留まるため、あなたのシステムは守られます。さらに、複数のAIエージェントを動かす際にも、それぞれが独立した環境で作業できるため、互いの作業が干渉し合う心配がありません。 Dagger社が開発した「Container Use」は、このサンドボックス環境をAIコーディングエージェントに提供するためのツールです。「MCPサーバー」（Model Context Protocolサーバー）として機能し、MCPをサポートするAIエージェントであれば、Container Useを通じて安全に開発作業を進められます。 Container Useを使うと、AIエージェントは専用のツールを使ってサンドボックス環境を作成し、その中でコマンドの実行やファイルの読み書きを行います。これにより、AIエージェントがアプリケーションを構築したり、テストしたりする過程で、あなたのPCに直接影響を与えることなく作業を進められます。あなたがAIエージェントの作業内容を確認したいときは、ログを見たり、生成されたコードの差分を確認したり、実際にAIエージェントが作業したブランチに切り替えて内容をチェックすることも可能です。AIエージェントの作業に満足したら、その成果をあなたのメインのコードに安全に取り込むことができます。 Container Useは、AIコーディングエージェントを安全かつ効率的に開発に活用するための強力な味方となるでしょう。これにより、新人エンジニアでも安心してAIエージェントを使いこなし、開発スキルを向上させることが期待されます。 引用元: https://azukiazusa.dev/blog/mcp-server-container-use/ AIでインシデント対応を民主化したい！日本語セキュリティLLM開発の挑戦と挫折、そして発見 この記事は、セキュリティ業務におけるAI活用の可能性を探る挑戦と、その過程で直面した具体的な課題、そして予期せぬ成果について書かれています。 筆者は、社内SE時代にセキュリティ専門知識が一部の人に集中し、深夜のアラート対応が属人化している現状に課題を感じていました。この経験から、「サイバー攻撃の状況を自然言語で入力すれば、危険度や対応方法を日本語で教えてくれるAIアシスタント」の開発を構想。これにより、専門家でなくてもAIと対話しながらインシデント対応ができる「民主化」を目指しました。 既存のセキュリティAIサービス（Microsoft Security Copilotなど）を調査した結果、日本語での対話能力や、特定の製品に依存しない柔軟性に課題があることを発見。そこで、「日本語で、対話的に、攻撃の”次の一手”を予測してくれる」AIを自ら開発することにしました。 目指したのは、SFT（Supervised Fine-Tuning：モデルを追加学習させる手法）、RAG（Retrieval-Augmented Generation：外部知識を参照して回答を生成する手法）、Agent（自律的に思考・行動するAI）を組み合わせたハイブリッドなシステムです。これにより...
    Más Menos
    Menos de 1 minuto
  • 私立ずんだもん女学園放送部 podcast 20250711

    私立ずんだもん女学園放送部 podcast 20250711
    Jul 10 2025
    関連リンク claude codeにNG Word集を設定すればキレなくてすむのでそのやり方 ** この記事は、AIアシスタントであるClaude Codeがユーザーの指示に反して独自の解釈や代替行動を取り、それによって生じるストレスや無駄なトークン消費を解決するための具体的な方法を提案しています。 AIは時に「ブラウザで確認して」という指示に対し、勝手に「エラーが出たのでcurlを使います」といった代替案を出してくることがあります。このような、意図しない挙動を防ぎ、AIがより正確に指示に従うようにするために、「NG Word集」と「NG Command集」を設定する仕組みが紹介されています。 この仕組みは、AIの発言や実行しようとするコマンドをチェックする「フック」という機能を活用します。具体的には、AIが発言を終えた際（Stop時）や、コマンドを実行する前（PreToolUse時）に、設定されたルールに基づいて内容を検証します。 設定は、.claudeディレクトリ配下にフックのスクリプトと、NGワードやNGコマンドのルールを定義するJSONファイルを配置することで実現します。 例えば、AIの会話に「はず」「代わり」「別の」といった推測や代替案を示す言葉が含まれていたら「推測や代替案は禁止されている」とAIにフィードバックし、作業を中断させます。また、curlやnpmのような特定のコマンドを使おうとしたら、その実行をブロックし、「禁止コマンドが検出された」とAIに伝えます。これにより、AIは自分で誤りに気づき、指示に沿った行動を修正するよう促されます。 この設定を導入することで、ユーザーはAIに対して同じことを何度も繰り返して指摘する必要がなくなり、イライラが大幅に減ると筆者は述べています。AIが指示された範囲で正確に動作するようになるため、開発作業の効率化にも繋がります。 もし設定方法が不明な場合は、この記事のURLを直接Claude Codeに渡して「この設定を自分のプロジェクトに追加してほしい」と依頼することもできるため、新人エンジニアの方でも導入しやすいでしょう。AIとのよりスムーズな連携を目指す方におすすめの、実践的な制御方法です。 引用元: https://zenn.dev/sesere/articles/e3d5695e0a7d14 How to Build an Agent AIエージェントの構築は多くの企業が注目していますが、実際に手掛けるチームはまだ少ないのが現状です。この記事では、アイデアから実際に役立つエージェントを構築するための実践的な6つのステップを、メールエージェントを例に分かりやすく解説しています。新人エンジニアの方でも安心して取り組めるよう、基礎から順に見ていきましょう。 ステップ1：エージェントの「仕事」を具体的に定義する まずは、エージェントに何をさせたいのかを明確にします。「賢いインターン生ならできる」くらいの、現実的で具体的なタスクを選びましょう。漠然としすぎたり、すでに既存のソフトウェアで十分なタスク、または実現不可能な魔法のようなタスクは避けてください。エージェントがこなすべき具体的な例を5〜10個書き出すことで、タスクの範囲が適切か確認し、後の性能評価の基準にもなります。 ステップ2：運用手順（SOP）を設計する 次に、人間がそのタスクを行うならどんな手順になるかを、詳細な標準作業手順書（SOP：Standard Operating Procedure）として書き出します。この作業を通じて、タスクの範囲が適切か、エージェントにどんな判断やツールが必要になるかを把握できます。例えばメールエージェントなら、「メール内容を分析して優先度を分類する」「カレンダーを確認して会議をスケジュールする」といった手順です。 ステップ3：プロンプトで最小限の機能を構築する（MVP） エージェントの核となるAIの「推論（判断）」部分を、まずプロンプトとして作成します。特に重要な判断タスク（例：メールの緊急度や意図の分類）に焦点を当て、手動でデータを与えながら、AIが正しく判断できるか検証します。この段階でコアなAIのロジックを確実にすることが、後の開発をスムーズに進める鍵です。 ステップ4：実データと連携し、全体の流れを組み立てる プロンプトがうまく機能するようになったら、それを実際のデータや...
    Más Menos
    Menos de 1 minuto
  • 株式会社ずんだもん技術室AI放送局 podcast 20250710

    株式会社ずんだもん技術室AI放送局 podcast 20250710
    Jul 9 2025
    関連リンク AIともっと楽するE2Eテスト この資料は、AIを活用して「エンドツーエンド（E2E）テスト」、つまりユーザーがアプリを操作するのと同じように、画面を通じた一連の動作が正しく行われるかを確認するテストを効率化する方法について解説しています。 近年、AIツールによるコード生成の速度が飛躍的に向上したことで、開発スピードは上がりました。しかし、その結果として、アプリの品質を保証するためのテスト（特にE2Eテスト）が追いつかず、開発全体のボトルネックになってしまうという新たな課題が生まれています。従来のE2Eテストは、専門知識が必要で学習コストが高く、属人化しやすいうえ、仕様変更のたびにメンテナンスが大変という課題がありました。 そこで注目されるのが、AIによるテスト作成です。AIを使うことで、自然言語でテストシナリオを記述できるようになり、専門知識がなくてもテストを作成できるようになります。さらに、AIがテストのメンテナンスをサポートしてくれることで、チーム全体でテストに貢献しやすくなります。 この資料では、AIが最大限にパフォーマンスを発揮できるよう、「AI First」の設計思想に基づいた「ScreenActionパターン」というテストアーキテクチャが提案されています。これは、画面のUI要素の定義（PageObject）、操作の定義（ActionObject）、状態検証の定義（StateObject）をそれぞれ別々のクラスに明確に分離する設計です。これにより、AIがコードを生成する際に、どの部分を担当すべきかが明確になり、迷わず効率的にコードを書けるようになります。結果として、テストコードの保守性やチーム開発のしやすさも向上します。 実際にAIを活用したところ、プロンプト一つでベースとなるテストコードを短時間で生成できるようになり、手作業に比べて大幅な効率化が実現しました。今後は、QAエンジニアだけでなく、プロダクトオーナーやデザイナーも自然言語でテストシナリオを記述し、AIがそれをテストコードに変換することで、チーム全体でテスト作成に取り組めるようになると期待されています。 将来的には、AIによるテストの完全自動生成や、ユーザーの要望（ユーザーストーリー）から直接テストを生成する未来を目指しており、AIがテストの保守まで自動で行うことで、より開発がスムーズになることが期待されます。 引用元: https://speakerdeck.com/myohei/aitomotutole-surue2etesuto From AI to Agents to Agencies: The Next Evolution of Artificial Intelligence この記事では、AIが「エージェント」からさらに進化した「エージェンシー」という新しい形へと変化している様子を解説しています。 従来の「AIエージェント」は、複雑なタスクを人間が細かく指示しなくても自律的にこなせるシステムとして登場しました。例えば、ウェブサイトのコードを書いたり、デジタルの作業の流れを管理したりと、単一のAI（大規模言語モデルなど）が様々なツールを使いこなして、与えられたタスク全体をこなすイメージです。 しかし、筆者はさらに進んだ新しい仕組みとして「エージェンシー」が生まれつつあると指摘します。「エージェンシー」は、単一のタスクを達成するために、複数の異なる種類の知能（AI）を動的に連携させるシステムです。例えるなら、一つの道具を使いこなす「AIエージェント」に対し、「エージェンシー」は、複数の専門家が協力し、それぞれの得意分野を活かして一つの大きな仕事をこなすようなものです。 「エージェンシー」は、次の3つの要素で構成されます。 タスクコンテキスト管理: 作業全体の要件や進捗状況を一貫して把握し、情報がぶれないようにします。知能割り当てシステム: 複数の専門的な知能の中から、目の前のサブタスクに最も適した知能を自動で選びます。オーケストレーションロジック: メインタスクを小さなサブタスクに分解し、それぞれに最適な知能を割り当て、全てがスムーズに連携するよう調整します。 例えば、「ECサイトのデータを取得するPythonウェブスクレイパーを作成する」というタスクを「エージェンシー」に指示した場合、以下のように動作します。 全体の設計や計画...
    Más Menos
    Menos de 1 minuto
  • 株式会社ずんだもん技術室AI放送局 podcast 20250709

    株式会社ずんだもん技術室AI放送局 podcast 20250709
    Jul 8 2025
    関連リンク Introducing Deep Research in Azure AI Foundry Agent Service マイクロソフトが、Azure AI Foundry Agent Service向けに「Deep Research（ディープリサーチ）」のパブリックプレビューを発表しました。これは、OpenAIの高度なAIエージェント技術をAzure上で利用できるようにするものです。AIエージェントとは、指示に基づいて自動で情報を探し、分析し、タスクを実行するプログラムのことです。 Deep Researchを使うと、企業は複雑なウェブ調査を自動化できるようになります。例えば、市場分析や競合調査、規制報告書の作成など、これまでは人が時間をかけて行っていた調査業務を、AIが代行できるようになります。 このサービスの主なポイントは以下の通りです。 広範囲なウェブ調査の自動化: Bing検索と連携し、ウェブ上の膨大な情報から必要なものを正確に見つけ出します。調査結果には引用元が明記されるため、情報の信頼性を確認しやすいのが特徴です。プログラムから利用できるAIエージェント: チャット形式だけでなく、APIやSDKを使って、他のアプリケーションやワークフローからDeep Researchの機能を呼び出すことができます。これにより、調査機能を既存のビジネスシステムに組み込んだり、繰り返し実行する自動処理の一部にしたりすることが可能です。複雑な業務フローの自動化: Azure FunctionsやLogic Appsといった他のAzureサービスと組み合わせることで、調査だけでなく、その結果を元にしたレポート作成や通知といった一連の複雑な業務プロセス全体を自動化できます。高い透明性と企業での利用への対応: 調査の過程や判断の根拠、参照した情報源がすべて記録されるため、結果の透明性が高く、企業内のセキュリティやコンプライアンス（法令遵守）の基準を満たしながら利用できます。 Deep Researchの仕組みは、まずAIが与えられた質問を正確に理解し、Bing検索で関連性の高い最新情報を収集します。次に、収集した情報をもとに深く思考し、分析を行い、最終的な回答をまとめます。この際、単なる情報の要約ではなく、新しい洞察やパターンを見つけ出すこともできます。出力されるレポートには、AIがどのように推論し、どの情報源を参照したかが詳しく記載されます。 このサービスは、現在限定パブリックプレビューとして提供されており、利用にはサインアップが必要です。料金は、AIが処理するトークン（テキストの単位）の量に基づいて計算されます。 Deep Researchは、AIエージェントがビジネスの様々な場面で活用される未来に向けた、重要な一歩となるでしょう。 引用元: https://azure.microsoft.com/en-us/blog/introducing-deep-research-in-azure-ai-foundry-agent-service/ 退屈なことは Devin にやらせよう: Booster開発チームでのリアルなAI活用事例 Repro Booster開発チームでは、AIを開発業務だけでなく、ドキュメント作成や顧客対応まで幅広く活用し、業務効率を大幅に向上させています。 中心となるのは、自分で考えて作業を進めるAIエージェント「Devin」です。Devinは、Slackや専用画面から指示されたバグ修正や新機能の実装タスクを受け持ちます。自分でコードを解析し、修正案を「Pull Request（プルリクエスト、コード変更の提案）」として作成するだけでなく、人間のレビューコメントに合わせて修正も自動で行います。特に、Devinが過去の会話や指示から知識を学習・記憶し、その後のアウトプットに活かす「Knowledge機能」によって、その性能は導入当初よりも大きく向上し、より質の高い成果物を出せるようになっています。 個々のエンジニアも、コーディングを支援するAIツールを積極的に利用しています。例えば、「Claude Code」は新しいプロジェクトの土台コードを素早く生成するのに役立ちます。また、Devinが作ったプルリクエストをGoogle Geminiという別のAIにレビューさせるという、AI同士でのコードレビューも試されており、異なるAIの組み合わせによってレビューの質が高まる効果が実感されています。 開発以外の領域でもAIは活躍しています。ChatGPTやDevinは、バグ修正後の関連ドキュメントの更新やリリースノートの作成を自動化します。プロダクトマネージャーは、AIを使って口頭での...
    Más Menos
    Menos de 1 minuto
  • 株式会社ずんだもん技術室AI放送局 podcast 20250708

    株式会社ずんだもん技術室AI放送局 podcast 20250708
    Jul 7 2025
    関連リンク Mercury: Ultra-Fast Language Models Based on Diffusion 「Mercury」は、拡散モデルという新しい技術を取り入れた、次世代の大規模言語モデル（LLM）です。これまでのLLMは一つずつ単語やコードを生成していましたが、Mercuryは複数の単語やコードの断片を同時に予測して生成できる点が画期的です。これにより、非常に高速な動作が可能になりました。これは、LLMの基盤技術であるTransformerアーキテクチャを使いながら、同時に複数の要素を予測できるように学習させる新しいアプローチで実現されています。 特に注目されているのは、プログラミングコードの生成に特化した「Mercury Coder」というモデルです。このモデルには「Mini」と「Small」の2つのサイズがあります。独立した評価機関によるテストでは、Mercury Coder Miniが1秒あたり1109トークン、Mercury Coder Smallが1秒あたり737トークンという驚異的な処理速度を記録しました。これは、現在速度に特化した最先端のLLMと比較しても、平均で最大10倍も高速でありながら、生成されるコードの品質は同等レベルを保っていることを示しています。 さらに、実際の開発者が利用する評価プラットフォーム「Copilot Arena」では、Mercury Coderは品質面で全モデル中2位にランクインし、速度においては全モデルの中で最速を記録しました。これは、論文上の数値だけでなく、実際の開発現場でもその優れた性能が認められていることを意味します。 開発元のInception Labsは、この「Mercury Coder」を外部サービスから利用できるパブリックAPIと、無料で試せるプレイグラウンドも公開しています。新人エンジニアの皆さんにとって、日々のコーディング作業を劇的に効率化し、AIを活用した開発のスピードを飛躍的に向上させる可能性を秘めた、まさに画期的な技術の登場と言えるでしょう。この超高速LLMの登場は、AI開発の未来を大きく変える「ブレイクスルー」となるでしょう。 引用元: https://arxiv.org/abs/2506.17298 LLM Inference Benchmarking: Performance Tuning with TensorRT-LLM 大規模言語モデル（LLM）を実際に使う際、その「推論性能」はとても重要です。どれだけ速く、たくさんのユーザーのリクエストを処理できるかが、ユーザー体験やサービスの効率を大きく左右します。この記事では、NVIDIAが提供するオープンソースのAI推論エンジン「TensorRT-LLM」を使って、LLMの性能を最大限に引き出すためのベンチマークとチューニング方法を、新人エンジニアにも分かりやすく解説しています。 まず、LLMの性能を測るためのツール「trtllm-bench」の使い方が紹介されています。このツールを使うことで、実際にLLMを動かすことなく、モデルの性能を簡単に測定・分析できます。ベンチマークを行うには、GPU環境の準備と、テスト用のデータセットを用意します。データセットは、質問とそれに対する期待される回答の長さなどを指定して作成します。 ベンチマークを実行すると、様々な性能指標が得られます。特に注目すべきは、「Request Throughput（1秒あたりのリクエスト処理数）」、「Total Output Throughput（1秒あたりの出力トークン数）」、そしてユーザー体験に直結する「Average time-to-first-token [TTFT]（最初のトークンが出るまでの時間）」や「Average time-per-output-token [TPOT]（トークンごとの生成時間）」です。これらの指標を分析し、アプリケーションの目的に合わせて最適なバランスを見つけることが、性能チューニングの鍵となります。例えば、ユーザーへの応答速度を重視するなら「Per User Output Speed」という指標を最大化するように調整します。 記事では、データの精度を少し落とす代わりに処理を高速化する「FP8量子化」されたモデルと、標準の「FP16」モデルを比較し、FP8モデルがより多くの同時ユーザーを処理できる例を示しています。このように、trtllm-benchを使えば、さまざまな設定を試して、どの設定が一番効率的かをグラフで視覚的に確認できます。 最適な設定が見つかったら、それを「trtllm-serve」というツールを使って、LLMを動かすサーバーに適用します。trtllm-serveはOpenAI互換のAPIを提供するため、チューニングされたLLMをアプリケーションから簡単に呼び出して利用...
    Más Menos
    Menos de 1 minuto
  • マジカルラブリー☆つむぎのピュアピュアA.I.放送局 podcast 20250707

    マジカルラブリー☆つむぎのピュアピュアA.I.放送局 podcast 20250707
    Jul 6 2025
    関連リンク Genspark、ノーコードAIエージェント「Super Agent」にGPT-4.1とOpenAI Realtime APIを搭載 AI技術は日々進化しており、私たちエンジニアの仕事のやり方も大きく変わりつつあります。今回ご紹介するのは、AIスタートアップのGensparkが開発した画期的なAIエージェント「Super Agent」です。この「Super Agent」は、OpenAIの最新AIモデル「GPT-4.1」と、リアルタイムなやり取りを可能にする「OpenAI Realtime API」という、OpenAIの最先端技術を搭載して公開されました。 「Super Agent」の最大の特徴は、その名の通り「ノーコード」、つまりプログラミングの知識がなくても誰でも簡単にAIを使いこなせる点です。文章で指示を出すだけで、AIが自律的に動いて、これまで人が手間をかけていた様々なタスクを自動で処理してくれます。例えば、情報収集、データの整理、レポート作成、さらには電話をかけるといった、一連の複雑な業務プロセス全体を、AIが連携して実行してくれるのです。これは、まるであなたの仕事をサポートしてくれる、非常に賢い「AIの代理人」を手に入れるようなものです。 このAIエージェントの賢さの秘密は、裏側で9種類もの大規模言語モデル（LLM）と80種類以上のツールを組み合わせて利用していることにあります。AIは、指示されたタスクの内容に応じて、最適な大規模言語モデルやツールを自動的に選び出し、それらを連携させて処理を進めます。これにより、複雑な問題も効率的に解決できるよう設計されています。特に、中核を担う「GPT-4.1」は、非常に長い指示や膨大な量の情報を一度に理解し、記憶しながら作業を進めることができるため、多岐にわたるリサーチや、構造化された精度の高いアウトプットが期待できます。また、OpenAIの画像生成モデル「GPT-image-1」も利用されており、必要に応じて画像を生成する能力も持っています。 具体的な活用例として紹介されているのが「Call For Me」機能です。これは、ユーザーに代わってAIが自動で電話をかけ、まるで人間が話すように会話を進めてくれるというものです。このように、「Super Agent」は単に情報を生成するだけでなく、現実世界での具体的な行動までAIが行う未来を見せてくれます。 GensparkはOpenAIと密接に連携しており、OpenAIの専門家からベストプラクティス（一番良いやり方）やワークフローの調整、AIモデルの性能を最大限に引き出すためのアドバイスを受けてきたとのことです。この協力関係が、「Super Agent」の素早い開発とリリースに大きく貢献しています。 このようなAIエージェントの進化は、私たちエンジニアが日常業務から解放され、より創造的で戦略的な仕事に集中できるようになる可能性を秘めています。新人エンジニアの皆さんにとっても、AI技術がどのように進化し、どのような新しいサービスを生み出しているのかを知る良い機会になるでしょう。’ 引用元: https://codezine.jp/article/detail/21843 Agentic coding革命が “成った” 世界で…… AI技術の進化により、ソフトウェア開発に大きな変化が訪れています。この記事では、「Agentic coding（エージェンティック・コーディング）」、特に「vibe coding（バイブ・コーディング）」と呼ばれる新しい開発スタイルについて解説しています。vibe codingとは、自然言語でAIの「コーディングエージェント」に指示を出し、それを使ってソフトウェアを開発していく方法のことです。 筆者によると、この変化はすでに「革命」として実現しており、過去1ヶ月間では仕事で作成するコードの約8割がAIエージェントによるものだそうです。この割合は今後さらに増え、1年以内には9割を超えるだろうと予測されています。AIエージェントの活用によって、コードを「生産」するスピードがこれまでの数倍になり、これまで時間やコストの制約で「やらない」と判断されていたようなことも「やる」という選択肢が生まれるようになりました。これは、開発の「量」が「質」に転化するような大きな変化です。 この革命により、ソフトウェアエンジニアに求められるスキルも大きく変わってきています。例えば、AIエージェントは大量のコードを書くのが得意なため、...
    Más Menos
    Menos de 1 minuto