C-Path:
純期間ジャッカード係数とゲーム理論を統合したID-POSベースの因果的買い回り分析
株式会社IDプラスアイ_鈴木 聖一(しょういち)
note:音声解説
目次
- はじめに(背景・目的・前回研究からの発展)
- 関連研究(従来の併売分析・BN適用・因果推論・メカニズムデザインとゲーム理論)
- C-Pathの手法(純期間ジャッカード係数による耐戦略的クラスタリング、BN構築、ハブ・アンカー抽出、反事実シミュレーションとナッシュ均衡)
- 適用事例(データでの結果・可視化・シミュレーション数値)
- 考察(2つの「≥」がもたらす理論的統合・強み・限界・棚割り適用)
- おわりに(今後の展望とAIエージェント実装)
- 参考文献、図表案
アブストラクト
本論文では、マーチャンダイジングに特化した新しいID-POS分析フレームワークであるC-Path(Causal Shopping Path、別名:ハブ&アンカー手法)を提案する。従来の併売分析や相関分析とは異なり、C-Pathは因果的な買い物の道筋を明らかにし、カニバリゼーションを抑えながら商品群全体を効率的に動かすレバーを特定する。本手法は時間的戦略(販促)と空間的戦略(棚割り・ゾーニング)の双方に適用可能であり、「もしこの商品を推したらどうなるか」を定量的にシミュレーションできる。
本手法の最大の特長は、データの前処理と戦略立案の双方において「参加者が戦略を変更するインセンティブを持たない「」というゲーム理論およびメカニズムデザインの思想を統合した点にある。手法は4つのステップからなる。第1に、特売等による規模のバイアスやチェリーピッキングなどの戦略的ノイズを排除し、データの「耐戦略性」を担保するため、「純期間ジャッカード係数」を距離指標として階層的クラスタリングを行い、デンドログラムを作成する。これにより代替性の低い「山」(クラスター)に商品を分割する。第2に、主要な山それぞれに対してベイジアンネットワークを構築し、循環を防ぐために最下段の代替性の高い商品を除外する。第3に、ネットワークから出次数が多く影響の中心となるハブと、入次数が多く影響の受け皿となるアンカーを抽出する。第4に、Judea Pearlの因果の梯子に基づく反事実シミュレーションを実施し、ゲーム理論における「ナッシュ均衡」を応用して、店舗側がこれ以上戦略を変更しても利得が増加しない、複数ハブの最適な販促ポートフォリオを数学的に導出する。
カテゴリーのデータセット(約200SKU、ユニーク顧客約1万5千人、約25万行、約3年分)に適用した結果、直観と一致する明確な階層構造が得られ、各山について実践的なハブとアンカーが抽出された。シミュレーション結果は、限られた資源配分のための優先順位付けを定量的に支援する。C-Pathは、代替性に基づくセグメンテーション、因果推論、そしてメカニズムデザインを統合することで従来のID-POS分析を進化させ、予算や棚スペースに制約のあるマーチャンダイジングのための実践的ツールを提供する。
キーワード:
ID-POS分析、因果推論、ベイジアンネットワーク、純期間ジャッカード係数、ゲーム理論、ナッシュ均衡、耐戦略性、マーケットデザイン、ハブとアンカー
1. はじめに(背景・目的・前回研究からの発展)
近年、小売業におけるマーチャンダイジングの高度化が強く求められている。限られた販促予算と棚スペースを最大限に活用し、商品群全体の売上を効率的に拡大するためには、単なる売れ筋分析や併売分析を超えた、より因果的な視点が不可欠である。従来のPOS分析は数量・金額ベースから始まり、客数を加えた分析、さらにポイントカードの普及に伴うID-POS分析へと進化してきた。ID-POS分析ではユニーク客数と購買頻度を捉えることが可能となり、顧客単位の詳細な行動把握が実現した。しかし、実務の現場では「どの商品を推せば、他の商品にどのような影響を与え、全体としてどの程度の効果が得られるのか」という因果的な問いに十分に答えられていないのが現状である。
筆者は2021年に『オペレーションズ・リサーチ』誌上で「ID-POS分析とAIをどう適用し,実践に活用するか」と題する論考を発表し、ID-POSデータの特徴を活かしたAI適用の枠組みを提示した。そこでは、ベイジアンネットワーク(BN)による推論、PLSAによるソフトクラスタリング、深層学習による予測をPDCAサイクルに組み込む方法を示し、「ID-POS分析はAIで進化する」というビジョンを掲げた。特にBNを用いた併売の因果関係可視化や棚割り分析への応用は、従来の統計的手法を超える可能性を示した。しかしながら、同論考はAI適用の全体像と個別事例の紹介に主眼を置いており、マーチャンダイジング領域に特化した体系的な手法の構築や、介入効果を事前に定量的にシミュレーションする枠組みについては十分に踏み込んでいなかった。また、顧客が特売品ばかりを狙う「チェリーピッキング」等の戦略的行動がデータに及ぼすノイズをいかに数学的に排除するかという課題も残されていた。
こうした背景を踏まえ、本研究では前回の成果を発展させ、マーチャンダイジングに特化した新しいID-POS分析手法「C-Path(Causal Shopping Path、別名:ハブ&アンカー)」を提案する。C-Pathの目的は次の三点にある。
第一に、顧客の戦略的行動によるノイズを排除(耐戦略性の担保)し、カニバリゼーションを抑えながら商品群全体を大きく動かす真のレバーを特定すること。第二に、販促(時間)だけでなく棚割り・ゾーニング(空間)にも適用可能な汎用的枠組みを構築すること。第三に、「もしこの商品を推したらどうなるか」を反事実シミュレーションにより事前に数字で予測し、ゲーム理論に基づく最適な資源配分(ナッシュ均衡)を導出することである。これにより、前回研究で示したBNの推論能力を、より実践的なマーチャンダイジング意思決定に直結させることが可能となる。
2. 関連研究(従来の併売分析・BN適用・因果推論・メカニズムデザインとゲーム理論)
小売業における商品間の関連性分析は、POSデータの普及とともに「併売分析」として発展してきた。初期のPOS分析では、同一レシート内での同時購入を対象としたバスケット分析が中心であり、AprioriアルゴリズムやFP-Growthなどのアソシエーションルールマイニング手法が広く用いられてきた。これらの手法は、支持度・信頼度・リフト値といった指標を通じて頻出アイテムセットやルールを効率的に抽出し、クロスセル施策の立案に貢献してきた。その後、ポイントカードの普及によりID-POSデータが利用可能になると、顧客単位での期間併売(一定期間内に複数商品を購入した顧客数)を捉える分析が登場し、頻度情報を加味した顧客セグメンテーションが可能となった。しかし、これらの従来手法は主に「共起」や「相関」を記述するものであり、商品間の代替性(カニバリゼーション)を明示的に分離したり、介入効果を定量的に予測したりする点では限界があった。
筆者は2021年の論考において、ID-POS分析へのAI適用の枠組みを提示し、特にベイジアンネットワーク(BN)を用いた推論の有効性を示した。BNは変数間の依存関係を有向非循環グラフ(DAG)で表現し、条件付き確率を通じて因果的な推論を可能にする手法である。ID-POSデータに適用した場合、商品をノード、購買関係をエッジとして扱うことで、単なる併売を超えた「親子関係」の可視化が可能となる。実際、NTTデータ数理システムのBayoLinkSなどのツールを用いた実践事例では、数十〜数百SKU規模でのネットワーク構築が現実的に可能であることが確認されている。しかしながら、単一のネットワーク構築に留まっており、代替性の高い商品群を事前に分離した上で因果構造を抽出する体系的な前処理までは十分に扱われていなかった。
一方、因果推論の分野では、Judea Pearlが提唱した「因果の梯子」(関連・介入・反事実)の枠組みが注目を集めている。特に反事実推論は「もしある変数を介入によって変化させたら、結果がどう変わるか」を問うものであり、販促効果の事前予測に直結する。実務的なツールとしては、Microsoftが公開するDoWhyやEconMLなどのライブラリが普及しているが、ID-POSのような高次元データに適用する場合、適切な因果グラフの事前構築が大きな課題となる。
さらに本研究では、ノーベル経済学賞の対象分野である「ゲーム理論」および「メカニズムデザイン」の概念をマーチャンダイジングに応用する。1950年にNashが提唱した「ナッシュ均衡」は、複数の主体が相互に影響を及ぼし合う状況下で、誰も戦略を変更する動機を持たない安定状態を示す。また、Gibbard (1973) らによって定式化された「耐戦略性(Strategy-proofness)」は、参加者が自身の選好を偽ること(操作)で得をしない制度設計の重要性を示した。近年では、小島らによるマーケットデザインの研究が、学校選択や研修医配属などの現実社会の制度設計にこの耐戦略性を応用し、多大な成果を挙げている。
小売業のデータ分析においても、特売に群がる顧客のデータ(偽の選好)をそのまま分析すると、売上規模の大きい特売品同士が過剰に評価される「規模のバイアス」が生じる。本研究のC-Pathは、純期間ジャッカード係数によりこれらのバイアスを明示的に処理し(データの耐戦略性)、各クラスター内で因果推論とナッシュ均衡を組み合わせることで、理論的に強力な手法と小売現場の実務との間のギャップを埋める統合的なフレームワークである。
3. C-Pathの手法
本手法は、以下の4ステップで構成される。
3.1 純期間ジャッカード係数による耐戦略的クラスタリング
従来の同時併売(同一買い物内での共起)では捉えきれない代替性を測るため、本手法では以下の概念を採用する。
- 期間併売:一定期間内に商品AとBの両方を購入したユニーク顧客数
- 同時併売:同一買い物で商品AとBを同時に購入したユニーク顧客数
- 純期間併売 = 期間併売 − 同時併売
同一買い物内の併買と期間を跨いだ購買を区別して代替商品を抽出する考え方は、米国大手スーパーマーケットチェーンのKroger(およびそのデータ分析子会社84.51°)において実践的に活用されている。Krogerでは、世帯レベルの購買とバスケットレベルの購買を分けて分析し、競合・代替商品の特定に活かしている。本手法ではこれをさらに精緻化し、「純期間ジャッカード係数」を導入する。
- 純期間ジャッカード係数 = 純期間併売顧客数 ÷ (商品AまたはBを購入した和集合の顧客数)
単なる純期間併売の「絶対数」では、特売等による売上規模の大きい商品同士が過大評価されるバイアスが生じる。和集合で割る(割合にする)ことでこのバイアスを排除し、マーケットデザインで重視される「参加者の真の選好(耐戦略性)」に近い純粋な代替性を測定する。この係数を距離行列として階層的クラスタリング(Ward法など)を適用し、デンドログラムを作成する。デンドログラムは2→4→16…と分岐していくが、特に上層の粗いクラスター(最初の2分割および次の4分割)に着目する。上層の「山」は代替性が低くカニバリゼーションが起きにくい商品群(アリーナ)を表し、下層は完全に用途が重複する商品を隔離する。
3.2 各山に対するベイジアンネットワークの構築
得られた主要な山(通常4つ)それぞれに対して、独立にベイジアンネットワークを構築する。学習には、ユニーク顧客の購買有無および頻度情報を離散化したデータを用いる。ネットワークは有向非循環グラフ(DAG)を意識して学習し、循環を防ぐために最下段の代替可能性が最も高い商品(真のカニバリゼーション要因)を事前に除外する。これにより、各山内で商品間の因果的な依存関係が確率的に表現される。
3.3 ハブとアンカーの抽出
構築されたBNから、以下の2種類の重要な商品を定義・抽出する。
- ハブ(Hub):矢印の先(出次数)が多い商品。多くの他商品に影響を与える中心的な存在であり、介入の優先候補となる。
- アンカー(Anchor):矢印の元(入次数)が多い商品。影響を受けやすい受け皿商品であり、ハブ介入の効果が波及する終点となる。
抽出結果を視覚化することで、山内の因果的な買い物経路が明確になる。
3.4 反事実シミュレーションとナッシュ均衡の導出
最後に、Judea Pearlの因果推論に基づき、介入効果を定量的にシミュレーションする。具体的には、構造的因果モデルの枠組みを用い、「もしハブ商品の購入顧客数を販促によって一定割合(例:10%)増加させたら、アンカー商品および山全体の売上・ARPUがどの程度変化するか」を推定する。BNの条件付き確率表を利用した介入(do演算)を適用し、効果を計算する。
さらに、複数のハブ候補について「値引き等の販促コスト」と「波及による売上純増(利得)」のペイオフマトリクスを計算する。Nash (1950) の均衡概念「」に基づき、「これ以上ハブを追加してもカニバリゼーションやコスト増で費用対効果が悪化し、これ以下にしてもシナジーを取りこぼす」という、店舗全体の利益が最大化し安定する最適な販促ポートフォリオ(ナッシュ均衡)を数学的に特定する。同一の構造は時間戦略(販促)と空間戦略(棚・ゾーン)の双方に適用可能である。
「**」
4. 適用事例(データでの結果・可視化・シミュレーション数値)
本章では、提案手法C-Pathを実際のカテゴリーのID-POSデータに適用した結果を報告する。データ概要は以下の通りである。
- データ量:約25万行
- 商品数:約200品
- ユニーク顧客数:約1万5千人
- ARPU(一人当たり売上金額):約3,000円
- 分析期間:約3年
この規模は、階層的クラスタリングとベイジアンネットワークを現実的に実行可能なちょうど良いサイズ感であった。
4.1 デンドログラムによる山分けの結果
純期間ジャッカード係数を用いた結果、メガヒット商品のバイアスが排除され、デンドログラムは直観と極めてよく一致する形で明確に分岐した。最初の分割で2つの大きな山が形成され、さらに次の分割で計4つの山に分かれた。上層の山は代替性が低く、カニバリゼーションが起きにくい顧客層の違う商品群を表しており、最下段に近づくにつれて真の代替商品のペアが集中する構造となった。カテゴリーの特性(価格帯・産地・品種などによる自然な顧客分離)をよく反映しており、手法の妥当性を支持するものであった。
4.2 ベイジアンネットワークの構築とハブ・アンカーの抽出
4つの山それぞれに対してベイジアンネットワークを構築したところ、いずれもきれいな有向非循環グラフ(DAG)が抽出された。最下段の代替性の高い商品を除外したことで、循環のない安定した構造が得られた。各山から抽出された傾向は以下の通りである。
- ハブ:各山あたり3〜4本
- アンカー:各山あたり1〜2本
ハブは出次数が多く、山内の多くの商品に影響を与える中心的な存在として特定され、アンカーは入次数が多く、影響の受け皿となる終点商品として明確に浮かび上がった。ネットワークの可視化により、各山内の因果的な買い物経路が直感的に把握可能となった。
4.3 反事実シミュレーションと最適ポートフォリオ(ナッシュ均衡)
抽出したハブに対して、反事実推論に基づくシミュレーションを実施した。代表的な例として、「ハブ商品の購入顧客数を販促により10%増加させた場合」の効果を推定した。結果、ハブへの介入は対応するアンカー商品の購買を有意に押し上げ、山全体の売上およびARPUの向上に寄与することが定量的に示された。
さらに、期間を限定した「同時購買バスケットの波及額」と「値引き等による販促コスト」の損益分岐点を検証した。複数ハブの組み合わせ計算により、「どのハブに資源を集中投下すれば、山全体を最も効率よく動かせるか」という優先順位付けが可能な形で数値が得られ、全体の利益が安定するナッシュ均衡点が明らかになった。本事例を通じて、C-Pathがカテゴリーと特に相性が良いことが示された。
5. 考察(強み・限界・棚割りへの適用可能性)
5.1 2つの「≥」がもたらす理論的統合(強み)
本研究の最も哲学的な貢献であり、最大の強みは、データ処理と戦略立案の双方において「誰も戦略を変更するインセンティブを持たない状態」すなわち 「」という同一の数学的構造を適用した点にある。
前半(耐戦略性の確保): 純期間ジャッカード係数により、顧客が戦略的行動(チェリーピッキング)をとるインセンティブを無効化し、データ上の偽の代替性を取り除いた。
- 後半(ナッシュ均衡の導出): クリーンなネットワーク上で、今度は店舗側が「これ以上販促戦略を変更しても全体の利得が上がらない」最適な組み合わせの頂点を見出した。
メカニズムデザインにおける「嘘をつかせない(耐戦略性)」と、ゲーム理論における「誰も動きたがらない(均衡点)」が完全に統合されたことは、実務においても極めて強固な論理的基盤となる。反事実シミュレーションにより「もしこのハブを推したらどうなるか」を事前に数字で予測できるため、「やってみないとわからない」という実務上の不確実性を大幅に低減できる。前回研究(2021年)で示したBNの推論能力を、代替性の明示的な扱いと組み合わせることで、より実践的な意思決定支援ツールへと発展させた点が本手法の独自性である。
5.2 手法の限界
一方で、現時点での限界も存在する。第一に、反事実シミュレーションの精度については、実際の販促実施後の効果との照合による検証がまだ十分ではない。推定値と実測値の乖離を定量的に評価し、モデルの校正を進める必要がある。第二に、ベイジアンネットワークの構造学習結果がデータ期間や前処理の違いによって変動する可能性があり、構造の固定化や安定性の確保が課題である。動的なデータ更新への対応も今後の重要なテーマとなる。また、本事例は単一カテゴリー・約200SKU規模での適用に留まっており、食品全般や非食品、全店規模への横展開時の計算負荷や解釈の容易さについては、さらなる検証が求められる。ツール化(自動化・可視化の高度化)が進んでいない点も、現場への広範な導入を考える上での制約となっている。
5.3 棚割りへの適用可能性
C-Pathの因果構造は、棚割り・ゾーニングへの適用可能性が極めて高い。ハブ商品を「目を引く位置」や「動線の起点」に配置し、アンカー商品をその影響が波及しやすい位置に配置することで、空間的な買い物経路を意図的に設計できる。山ごとの分離を活かせば、カニバリゼーションを抑えつつ、異なる顧客層向けのゾーンを明確に区分することも可能である。販促と棚割りを同じハブ・アンカー構造で連動させられる点は、時間と空間の両面から一貫したマーチャンダイジング戦略を立案する上で大きな強みとなる。
6. おわりに(今後の展望とAIエージェント実装)
本論文では、マーチャンダイジングに特化した新しいID-POS分析手法としてC-Pathを提案した。純期間ジャッカード係数を用いた階層的クラスタリングにより代替性の低い「山」を形成し、各山にベイジアンネットワークを適用してハブとアンカーを抽出し、Judea Pearlの因果推論に基づく反事実シミュレーションを実施する枠組みである。これにより、カニバリゼーションを抑えながら商品群全体を効率的に動かすレバーを特定し、時間と空間の双方に適用可能な実践的ツールを提供できる。
今後の展望として、精度検証、モデルの動的更新、他カテゴリーへの横展開に加え、これらの高度な数理処理を社会実装するための「ヒューマン・イン・ザ・ループ型AIエージェント体制」の構築を提唱する。
- Bot 1(解析エージェント):ID-POSの生データ処理を担い、純期間ジャッカード係数算出とネットワーク構築によるノイズ排除の自動化を行う。
- Bot 2(戦略エージェント):反事実シミュレーションとペイオフマトリクスの計算を実行し、ナッシュ均衡の導出と最適な販促ポートフォリオの提案を行う。
- Bot 3(検証エージェント):施策実施後の事後データをモニタリングし、予測値と実績値のズレを自動計算してモデルの動的更新・学習を行う。
この3台のBotと人間の協働体制により、人間のマーチャンダイザーは「データの処理作業」から解放され、「戦略的アリーナの選定」と「物理的な制約など現場文脈の注入」という高度な意思決定のみに集中できるようになる。C-PathをID-POS分析と因果推論を融合した標準的なマーチャンダイジング支援手法へと成熟させ、限られた資源を最も効果的に配分し、顧客満足と売上向上を両立させる実践的な貢献を今後も追求していく所存である。
7. 参考文献
[1] 鈴木聖一: ID-POS分析とAIをどう適用し,実践に活用するか, オペレーションズ・リサーチ, Vol.66, No.1, pp.25-32, 2021.
[2] Agrawal, R. and Srikant, R.: Fast Algorithms for Mining Association Rules, Proceedings of the 20th International Conference on Very Large Data Bases (VLDB), pp.487-499, 1994.
[3] Han, J., Pei, J. and Yin, Y.: Mining Frequent Patterns without Candidate Generation, Proceedings of the 2000 ACM SIGMOD International Conference on Management of Data, pp.1-12, 2000.
[4] Pearl, J.: Causality: Models, Reasoning, and Inference, Cambridge University Press, 2000.
[5] Pearl, J.: The Book of Why: The New Science of Cause and Effect, Basic Books, 2018.
[6] Sharma, A. and Kiciman, E.: DoWhy: An End-to-End Library for Causal Inference, arXiv preprint arXiv:2011.04216, 2020.
[7] Nash, J. F.: Equilibrium points in n-person games, Proceedings of the National Academy of Sciences, 36(1), pp.48-49, 1950.
[8] Gibbard, A.: Manipulation of voting schemes: A general result, Econometrica, 41(4), pp.587-601, 1973.
[9] 小島武仁, 河田陽向: マッチング理論とマーケットデザイン, 日本評論社, 2024.
[10] Kojima, F., Pathak, P. A.: Incentives and Stability in Large Two-Sided Matching Markets, American Economic Review, 99(3), pp.608-627, 2009.
[11] Kroger Precision Marketing (84.51°): How to Crack the Code on Top-Selling Product Pairings, Kroger Precision Marketing Knowledge Hub, 2024.
[12] 小野義之, 鈴木聖一, 北村章 ほか: BayoLinkSで実践するベイジアンネットワーク, オーム社, 2023.
[13] セブン-イレブン・ジャパン: 沿革, https://www.sej.co.jp/comp/any/enkaku.html
[14] NTTデータ数理システム: BayoLinkS公式サイト, https://www.msi.co.jp/bayolink/
[15] 鈴木聖一: 船井総研の「客単価アップ」大革命, 明日香出版社, 1995.
図表案
表3 反事実シミュレーションとナッシュ均衡の定量結果例
主要ハブごとの「波及による売上純増」と「販促コスト」のペイオフマトリクスを比較し、最適な販促ポートフォリオの損益分岐点を示した表。
図1 C-Pathの全体フロー
純期間ジャッカード係数によるデンドログラム作成 → 4つの山へのBN構築(最下段除外) → ハブ・アンカー抽出 → 反事実シミュレーションとナッシュ均衡導出の4ステップを図示したフローチャート。
図2 純期間ジャッカード係数を用いたデンドログラムの例
2分割→4分割の階層構造を示し、上層の「山」と、規模のバイアス(戦略的ノイズ)を排除して特定された下層の代替商品群を色分けで可視化。
図3 各山のベイジアンネットワーク例(DAG)
4つの山のうち代表的な1〜2山のネットワーク図。ハブを赤、アンカーを青で強調し、矢印の方向と出次数・入次数を明示。図4 AIエージェントと人間の協働ワークフロー
Bot1(解析)、Bot2(戦略立案)、Bot3(効果検証)と人間の意思決定プロセスを連携させた概念図。
表1 使用データの概要
データ量約25万行、商品約200品、ユニーク顧客約1.5万人、ARPU約3,000円、期間約3年をまとめた表。
表2 各山におけるハブ・アンカー抽出結果
山1〜山4ごとにハブ商品名、出次数、アンカー商品名、入次数を一覧化した表。
C-Path開発秘話
X01:https://x.com/PurchaseTW/status/2097340268957860119
AIと対話を積み重ね、ID-POS分析の新たなマーチャンダイジング手法、C-Pathを開発しました。https://note.com/idplusi_suzuki/n/na838bf1624c4
C-Pathは、Causal Shopping Pathの略称です。Causal 、相関ではなく、因果に基盤をおいた分析手法です。ここ数年、取り組んできたパール博士が提唱している因果推論を取り入れ、さらに、ノーベル経済学賞を受賞したゲーム理論、ナッシュ均衡と耐戦略性の視点を組み込んだ意欲的なマーチャンダイジング手法です。AIと何度も、深く対話を重ね、実際のID-POSデータで検証も積み上げ、日々、完成度を高めています。
***
AIは日々性能がアップしていますので、C-Pathもそれに応じて改善しています。当初はAIとの対話の中で、C-Pathに取り組んできましたが、現在は、対話ではパイソンコードをAIに書いてもらいcolabで実行、さらに、ID-POSデータはgoogleドライブに格納し、100万行を超える大量のID-POSデータの分析も可能となりました。AIの進歩は著しく、いま取り組んでいるのは、ここにAIエージェントの3つのbotを入れ、分析、提案、検証を任せる体制づくりです。C-Pathのバージョンアップと連動し、AIでの分析体制も進化させる、2つの視点でC-Pathの開発に取り組んでいます。
***
来期はAIエージェントが本格的に普及することを見越し、日々、C-Pathの方向性を検討し、研究開発に取り組んでいます。
X02:https://x.com/PurchaseTW/status/2097356511928590736
C-Pathの最初の分析ステップはクラスターをつくることです。すべての商品にID-POS分析をかけると商品が膨大になることに加え、商品同士の干渉がすさまじく、ノイズが混在した分析となり、量だけでなく、質も落ちるためです。
***
ではどうするか、商品を互いに干渉しにくい山、クラスターに分けることが最初です。干渉とはID-POS分析では併売といえ、併売がどのように商品同士で起こっているかを解析します。ちなみに、併売はたった5品の商品でも併売した、しないで見ると2⁵=32パターンありますので、これが50品、棚割り単位の場合は、2の50乗、1,000兆パターンにもなります。人間が頑張ってできる分析ではないので、必然的に併売はAIの領域となります。
***
ちなみに、併売はID-POS分析では、同時と期間の大きく2つに分かれ、この2つを区別することがクラスターづくりの要諦です。この領域は先行研究があり、アメリカのクローガー、イギリスのテスコ、その分析をになっている84.51°、ダンハンビーが実践に活用しています。商品の代替性を導くことがポイントで、期間から同時をさし引き、純期間併売を算出し、ここから代替性の高いペアの商品を抽出し、これをデンドログラムで山、クラスターに分けるという手法です。
***
C-Path もこの先行研究を取り入れ、山、クラスターを作るのですが、これに独自の工夫を加えています。この先行研究では特売等の異常値の商品が排除できず、山にゆがみが生じます。そこで、C-Pathではジャッカード係数を加え、補正します。その結果、異常値が排除され、きれいな山、クラスターができあがり、この山がC-Path の次のステップへとつながります。この指数をC-Pathでは純期間ジャッカード係数と命名しました。恐らく、誰もこれまで算出したことがない結果になっていると思います。今後、検証を積み重ね、改善してゆきます。ちなみに、ここでもAIが活躍します。純期間ジャッカード係数を計算して算出するのは通常のexel、tableauでは簡単ではありませんが、AIは対話で、パイソンコードを書いてくれるので、簡単なステップで可能です。C-PathはAIなしでは開発できなかったマーチャンダイジング手法といえます。
***
この純期間ジャッカード係数ですが、ここにゲーム理論のノーベル賞を受賞した耐戦略性の視点が入っています。特売は顧客にとって意図せざる購入がまざるため、戦略的に特売商品を購入してしまいます。結果、真の顧客の併売とはズレることになり、この戦略的意図を排除することが耐戦略性であり、そのために純期間ジャッカード係数が誕生したといえます。この純期間ジャッカード係数にもとづく山、クラスターをつくると耐戦略性が組み込まれた顧客の真の併売にもとづく結果となるといえます。まだまだ、研究の余地はありますが、経済学の数学を用いてID-POSデータの分析ができることがポイントです。
***
ちなみに、C-PathというネーミングもAIとの対話の中で決めました。サブタイトルもあり、ハブ(Hub)&アンカー(Anchor)です。このハブ&アンカーは因果推論そのものです。
X03:https://x.com/PurchaseTW/status/2097368305518751757
C-Pathは別称、ハブ&アンカーであり、ここがC-pathの本質です。ここには、パール博士の因果推論の研究成果を取り入れています。ハブとアンカーは併売商品の関係を因果推論の最初、ベイジアンネットワークにより、構築するとことからはじまり、次のステップ、介入、反事実へとステップアップし、因果推論がID-POS分析に組み込まれます。
***
ただ、ベイジアンネットワークをID-POS分析に適用するには一工夫必要です。ベイジアンネットワークはDAG(有向非循環グラフ)をつくる必要があるからです。併売には、矢印がありません。どちらの商品が因果のはじめ、因で、どちらの商品が因果の終わり果であるかの区別がつかないからです。そこで、最初はリフト値を検討しましたが、リフト値はどちらから算出しても同じ数字となるため使えません。そこで、併売率に目をつけ、併売と逆併売を算出し、高い方から低い方へ矢印を引くことにより、DAGができあがり、ここにベイジアンネットワークの適用がID-POS分析で可能となりました。
***
ちなみに、ベイジアンネットワークは膨大な計算が必要なため、可能な限り、商品数は少ない方がベターです。C-Pathが最初のステップで山、クラスターに分けるのは、このベイジアンネットワークを適用しやすくするためともいえます。デンドログラムの最上段の山は2つ、その次は2つが2つに分かれ4つとなりますので、この4つぐらいが棚割り商品で見るとベイジアンネットワークにかける上では最適といます。
***
こうして、4つぐらいの山でベイジアンネットワークをかけるときれいなDAGの繋がりができあがり、ここにC-Pathを適用します。まずは、矢印の出元の多いハブの商品をみつけ、一方、矢印の受元の多いアンカーの商品を抽出します。この中で有望なペアをベイジアンネットワークから見つけ出すことがポイントです。ちなみに、デンドログラムは下の山には純期間ジャッカード係数の高い代替性の高い商品のオンパレードとなりますので、このベイジアンネットワークをかける際、このようなノイズをあらかじめ省いておくこともポイントです。ここにも、ゲーム理論の耐戦略性の視点が入り、顧客の真の併売に近づくといえます。 *** これでC-Pathのハブ&アンカーが抽出されましたので、ここからは、この結果をマーチャンダイジング、時間と空間に活かすことになります。時間とは販促であり、空間とは棚割りです。
***
ここで、CPathを実践に活用するにはもう一工夫必要で、そこにゲーム理論のナッシュ均衡が適用されます。
X04:https://x.com/PurchaseTW/status/2097384314497564743
C-Path、最後の関門が因果詩論の反事実とゲーム理論のナッシュ均衡です。ハブ&アンカー商品は山の中にいくつも見出すことができます。したがって、どのハブ&アンカーを優先すべきか、また、どこまで増やせるかを判断しないと販促予算がオーバーするだけでなく、併売顧客のカニバリが発生し、販促効果、棚割り改善に結びつかない施策を作りかねないからです。
***
このシミュレーションには、まず、パール博士の因果推論の反事実を入れます。実際には山は動いていなのですが、仮説として、思考実験をするわけです。たとえば、ハブの商品のID数が10%増えたら、アンカーはどうなり、山全体はどう動くかの仮説を検討します。さらに、ここに、ナッシュ均衡の視点を入ます。どのハブとどのハブの組み合わせが最適な販促になるかという視点です。もちろん、この複雑なシミュレーションは人間が計算できるはずもありませんので、AIの登場となります。AIはパール博士の論文も、ノーベル経済学賞を需要したナッシュ博士の論文も参照し、難解で複雑な数式をつくり、計算をしてくれます。その結果を見ると、見事に反事実にもとづく、ナッシュ均衡が数学的に計算され、最適な施策案を提示してくれます。
***
ちなみに、AIは計算により、最適なナッシュ均衡は何もしないことだという結論を出すこともあります。その場合は販促をかけるとマイナスの結果となりますので、現状を改善、環境、条件を見直すことがポイントです。たとえば、価格を下げずに、POP、フェイス改善などでID数を地道に増やすとか、商品を近接陳列し、矢印の本数を増やすなどです。AIは正確に計算しますので、数学的に無理は無理という結論も出しますので、人間の忖度が入らない冷徹な結果を出すといえます。
***
これが現時点のC-Pathの全体像です。現在は、AI、特に、AIエージェントを導入し、bot、ロボットの活用を検討していますが、まだまだ、C-Pathの論理、手順の改善とスケールへの拡張、あらゆる商品への適用が当面の課題といえます。
X05:https://x.com/PurchaseTW/status/2097570621526032802
C-Pathの開発に当初取り組んだ時は、AIとの対話のみで進めていました。ところが、ID-POS分析ですので、20万行、30万行はもちろん、100万行も超えることもあり、この対話のみでは限界があると感じていました。さらに、AIエージェントでbotを使うには対話のみでは難しいと考え、この量と質の転換をはかるため、AIのアドバイスもあり、colabの活用に踏み切りました。 *** そこで、分析体制も一新し、ID-POSデータの生データ、マスター連結からはじめました。はじめての経験ですので、うまくゆくかどうか不安でしたが、googleドライブにID-POSの生データ、各マスターを入れ、AIに連結のパイソンコードを書いてもらい、Colabで試したところ、いくつか不備があったのですが、colabがアドバイスをくれ、何とか連結でき、ID-POSデータでのAIを活用した新たな分析基盤が完成しました。これで、100万行以上のデータも何なく分析できるようになりました。 *** ここからはこれまでAIとの対話で培った分析プロンプトをAIによりパイソンコードに書きかえ、colabに渡し、分析する。その結果を再度、AIに投げ、対話を続ける、この繰り返しで分析の精度と分析方法がブラッシュアップされていったといえます。 *** その対話の中で、さらに、興味深い試みがいくつかあります。ひとつは、AIエージェント、botを動かしてみることです。来年からは本格的なAIエージェント、ロボットの時代に入ることが確実ですので、それを見越してのAIエージェントのトライです。これもAIと対話した結果、3台のbotが良いだろうということになり、この3台を試してみました。分析、提案、検証、この3つのbotです。これを試す中で、もう一つの課題が出てきました。検証です。検証は未来のことですので、過去のID-POSデータでは無理なのですが、ここもAIと対話し、3年間のデータを3つに分け。過去、現在、未来とすれば、3つのbotを回せるのではないかと思い、トライしてみました。AIもさすがに不安そうでしたが、トライしてみるときれいな結果が出て、思わず、AIも「鳥肌がたった」とコメントが返ってきました。 *** これでC-PathでID-POSの大量の生データの解析、分析が可能となり、かつ、来るべき本格的なAIエージェントの時代を見越したbot、ロボットの試験運用もできたといえます。まだまだ改善の余地がたくさんあり、しばらくは、C-Pathをこの仕組みの中で回し、ブラッシュアップし、研究開発を深めてゆきます。














