同じプロンプトから全然違うものが生成された話

同じプロンプトでAGENTS.mdを生成したのに、リポジトリの状況によって全く異なる内容が生成された体験について

@nqounetです。

同じプロンプトでも周囲の状況で異なる結果が生成される体験から学んだAI活用のヒントをお伝えします。

GitHub Copilotのエージェント機能を使って複数のリポジトリでAGENTS.mdファイルを生成してみたところ、同じプロンプトを使っているにも関わらず、周囲の状況(としか言いようがない)によって、生成される内容が全く異なるという驚きの体験をしました。

何を試したのか

2つの異なるリポジトリで、同じプロンプトを使ってAGENTS.mdファイルを生成しました:

※これらは実際のリポジトリへのリンクです

どちらも「AGENTS.mdを作成してください」という趣旨のプロンプトを使いましたが、結果は驚くほど異なるものになりました。

興味深いことに、どちらのリポジトリもほぼ空の状態でした。プロジェクトとしては意思表示がある程度の内容でしたが、AIによる反応は予想以上に大きなものでした。

何が違ったのか

article-interviewer の場合

このリポジトリは、インタビュー記事を生成するためのツールです。生成されたAGENTS.mdは、その目的に沿って、インタビュー記事の作成に特化したエージェント設計になっていました。

具体的には:

  • インタビューの質問生成
  • 回答の整形
  • 記事としての構成
  • トーンの調整

といった、インタビュー記事作成に必要な機能が網羅されていました。

lets-eat-sushi の場合

一方、こちらのリポジトリは寿司レストランの情報を扱うプロジェクトです。同じプロンプトで生成されたAGENTS.mdは、全く異なるアプローチで設計されていました。

具体的には:

  • レストラン情報の管理
  • メニューの整理
  • レビューの処理
  • データの構造化

といった、飲食店情報管理に特化した内容になっていました。

なぜこうなったのか

AIエージェントは、プロンプトだけでなく、周囲のコンテキスト(リポジトリの内容、既存のファイル、READMEの記述など)を総合的に判断して出力を生成します。

つまり、同じプロンプトでも:

  • リポジトリ名
  • 既存のコードの内容
  • READMEの説明
  • プロジェクトの構造

これらすべてが「周囲の状況」として作用し、生成される内容に大きく影響を与えるのです。

学んだこと

この体験から、いくつかの重要な教訓を得ました:

1. コンテキストの重要性

AIエージェントは、明示的なプロンプトだけでなく、暗黙的なコンテキストも読み取って動作します。リポジトリ全体が一種の「プロンプト」として機能していると言えます。

2. 一貫性のあるプロジェクト設計の価値

リポジトリ名、READMEの内容、コードの構造など、プロジェクト全体が一貫したメッセージを発していると、AIエージェントもその意図を正確に汲み取って適切な出力を生成します。

3. プロンプトエンジニアリングの限界と可能性

単純に「良いプロンプト」を書くだけでは不十分で、プロジェクト全体の設計や文書化が重要であることがわかりました。逆に言えば、プロジェクトをしっかり設計しておけば、シンプルなプロンプトでも適切な結果が得られるということです。

まとめ

同じプロンプトでも、周囲の状況によって全く異なる出力が生成されるという体験は、AIとの協働について考える良い機会になりました。

AIエージェントを効果的に活用するには:

  • プロジェクトの目的を明確にする
  • READMEや文書をしっかり書く
  • コードの構造を整理する
  • 一貫性のある命名規則を使う

といった、従来から推奨されている「良いプロジェクト設計」がますます重要になってきています。

AI時代だからこそ、基本に立ち返って、人間が読んでも理解しやすいプロジェクトを作ることが、結果的にAIとの協働を円滑にするのだと実感しました。


本記事はバイブ・ブロギングで作成しています。

脚注・参考情報

事実確認が必要な箇所

  • GitHub Copilotのエージェント機能については、GitHub Copilot Workspaceなどの公式ドキュメントで最新の仕様を確認することをお勧めします
  • 各PRのリンクは記事作成時点で実在する実際のリポジトリへのリンクです
comments powered by Disqus
Hugo で構築されています。
テーマ StackJimmy によって設計されています。