La question qui expose les modèles quantitatifs faibles

Ce que les investisseurs institutionnels devraient demander avant de se tourner vers des stratégies systématiques

Votre processus de due diligence pour les gestionnaires quantitatifs se concentre probablement sur la efficiency : backtests, ratios de Sharpe, drawdowns et attribution. Il est presque sure qu’elle ne vérifie pas si les variables sont correctement structurées par rapport aux forces économiques qu’elles sont censées capter.

Cet écart n’est pas mineur. Il s’agit peut-être aujourd’hui de la plus grande supply de risque non diagnostiquée dans l’évaluation systématique des stratégies. Cet article vous pose une query qui le clôt. Il ne nécessite aucune formation method et peut être utilisé lors de votre prochaine réunion de supervisor.

Le modèle

Trois répartiteurs de trois establishments différentes m’ont décrit le même scénario en une seule semaine. Un gestionnaire d’actions systématique a ajouté une couche de « qualité » à une stratégie de valeur. Le backtest s’est amélioré : des ratios Sharpe plus élevés, des prélèvements inférieurs, une attribution plus propre. La répartition est faite. Douze mois plus tard, la stratégie est sous-performante par rapport à la model plus easy, uniquement axée sur la valeur, remplacée par l’allocateur.

Les trois répartiteurs ont conclu que leurs gestionnaires avaient surajusté le modèle aux données historiques. Mais ce diagnostic n’explique pas complètement ce qui n’a pas fonctionné.

Le facteur qualité n’était pas une variable indépendante. C’était la conséquence des mêmes forces qui déterminent les rendements. L’inclure n’a pas ajouté d’informations. Cela a introduit une distorsion qui a amélioré l’apparence du backtest, précisément parce qu’il a aggravé la construction du modèle.

C’est ce qu’on appelle une erreur de spécification. Marcos López de Prado, PhD, et Vincent Zoonekynd, PhD, ont examiné 26 modèles factoriels de Barra largement utilisés dans leur étude de la CFA Institute Analysis Basis et ont trouvé des cas où ce sort d’erreur a inversé le signe du coefficient factoriel. Dans un exemple, le coefficient de liquidité right était de +0,08. Avec la mauvaise variable de contrôle, il est devenu −0,04. L’ajustement statistique du modèle s’est amélioré avec l’erreur.

Ils appellent cela un « mirage facteur ». López de Prado et Zoonekynd ont ensuite traduit ces résultats dans un weblog Enterprising Investor.

Là où les cadres actuels s’arrêtent

La communauté CFA a produit des outils puissants pour l’évaluation quantitative. Le cadre de sélection de Simonian se demande si les facteurs ont une instinct économique, si les preuves sont robustes dans tous les sous-échantillons et remark les changements de modèle sont régis. Sa query sur le contrôle des risques porte sur la query de savoir si une stratégie tient ses promesses. Ce sont les bons instincts.

Mais même les meilleurs frameworks existants se concentrent sur ce que fait un modèle et remark il a été construit. Ils ne se demandent pas pourquoi les variables sont structurées de cette façon. Les questionnaires de diligence raisonnable (DDQ) customary du secteur demandent quels facteurs un gestionnaire utilise et remark il les définit. Ils ne se demandent pas pourquoi ces variables et d’autres ont été délibérément exclues. C’est dans cet écart que se cache l’erreur de spécification.

Une query qui change la dialog

« Remark avez-vous décidé quelles variables inclure dans votre modèle et lesquelles avez-vous délibérément exclues ? »

La valeur de la query réside dans ce qu’elle révèle. Vous ne demandez pas une liste de variables. Vous demandez si les décisions d’inclusion et d’exclusion étaient fondées sur un raisonnement économique plutôt que sur une easy adéquation statistique.

Dans mes conversations avec les répartiteurs et les gestionnaires, les réponses se répartissent en trois catégories distinctes.

Une réponse forte : Le supervisor explique le mécanisme économique derrière l’inclusion de chaque variable. Ils discutent surtout des variables qu’ils ont exclues et pourquoi, montrant que la spécification était un choix de conception délibéré. Ils font la distinction entre les variables qui déterminent leur facteur cible et les variables qui en résultent. Les gestionnaires les plus solides tracent une chaîne de causalité économique : remark les forces macroéconomiques se projettent sur les signaux au niveau des actions et pourquoi le modèle reflète ces chaînes causales plutôt que d’explorer des corrélations.

Une réponse customary : Le supervisor cite des critères statistiques : taux d’info, amélioration du R au carré, assessments de significativité. Il s’agit d’une pratique courante dans l’industrie. Ce n’est pas fake, mais c’est incomplet. L’ajustement statistique à lui seul ne peut pas faire la distinction entre une variable qui appartient au modèle et une variable qui introduit une distorsion tout en améliorant les mesures d’ajustement. C’est exactement le piège de l’histoire d’ouverture.

Une réponse inquiétante prend l’une des deux formes suivantes : « Nous utilisons toutes les variables disponibles et laissons le modèle sélectionner » signale une vulnérabilité structurelle aux mirages factoriels. D’un autre côté, « Notre processus de sélection de variables est exclusif » peut refléter une safety légitime de la propriété intellectuelle. Mais un supervisor qui ne peut pas expliquer le raisonnement qui sous-tend sa spécification, même sans divulguer des variables spécifiques, ne peut pas démontrer que le raisonnement existe.

Pourquoi c’est vital maintenant

L’approche de portefeuille complete (TPA) centralise la transparence des facteurs. Les plus grandes caisses de pension exigent désormais que chaque mandat soit exprimé dans un langage commun. Lorsque l’ensemble de votre portefeuille doit être compréhensible au niveau des facteurs, la validité causale de ces modèles affecte directement l’allocation du capital et la budgétisation des risques.

Les rendements des facteurs diminuent. McLean et Pontiff (2016) documentent une baisse de 50 à 58 % des rendements des facteurs après publication universitaire. Alors que de plus en plus de capitaux recherchent des facteurs publiés, la différence entre un modèle bien spécifié et un mirage devient la différence entre l’alpha résiduel et le bruit coûteux.

Les répartiteurs les plus sophistiqués agissent déjà en conséquence. ADIA Lab a engagé un financement dédié, une bourse de recherche annuelle de 100 000 $ et un défi mondial qui a attiré près de 2 000 chercheurs vers l’inférence causale dans les investissements.

Lorsque l’allocateur gérant un billion de {dollars} investit pour résoudre ce problème, cela mérite une query lors de votre prochaine réunion.

La norme V(A) du CFA Institute exige que les membres disposent d’une « base raisonnable et adéquate » pour leurs recommandations d’investissement, y compris la compréhension des hypothèses et des limites des modèles quantitatifs. Cette query : « Remark avez-vous décidé quelles variables inclure dans votre modèle et lesquelles avez-vous délibérément exclues ? – contribue à répondre à cette norme.

Avant votre prochaine réunion

Posez une query sur la raison pour laquelle les variables sont là et pourquoi d’autres ne le sont pas. La qualité de la réponse vous en dira plus sur la solidité structurelle d’un processus quantitatif que n’importe quel backtest.

Il s’agit de la première des quatre dimensions de risque de spécification que j’look at dans un cadre plus massive couvrant la manière dont les managers diagnostiquent les échecs de efficiency, s’ils peuvent expliquer des métiers spécifiques et la sensibilité de leurs modèles aux changements structurels. Mais la spécification passe avant tout, automotive si les variables sont erronées, rien en aval ne peut y remédier.

Il s’agit d’une dimension d’un cadre de risque de spécification plus massive, parallèlement à la manière dont les managers diagnostiquent les échecs de efficiency, expliquent des métiers spécifiques et réagissent au changement structurel.