No BMA features returned in model_df

[Rina2323]

Hello,

I was trying to extract BMA selected features using the code from your feature selection example:
model_df <- coef_df %>%

Always remove the intercept

filter(term != "(Intercept)") %>%

mutate(selected = case_when(
# Extract top 10 largest scores
model %in% c("Correlation", "RReliefF", "Information Gain") ~
rank(-abs(estimate)) <= MODEL_SIZE,
# BMA features are selected using the posterior inclusion probability
model == "BMA" ~ rank(-pip) <= MODEL_SIZE,
# For all other methods keep all features
TRUE ~ TRUE
)) %>%

Keep only included terms

filter(selected) %>%
select(model, term)

But nothing is returned in model_df. Below are output related to BMA method.
282 | BMA | RPI | 2.279047e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.465861e-01 | 1.00000
283 | BMA | W875RX1 | -2.332652e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.497100e-02 | 1.00000
284 | BMA | DPCERA3M086SBEA | 2.221217e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.480478e-01 | 1.00000
285 | BMA | CMRMTSPLx | 1.005424e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.804978e-02 | 1.00000
286 | BMA | RETAILx | 9.183429e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.635119e-02 | 1.00000
287 | BMA | INDPRO | 7.407899e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.208493e+00 | 1.00000
288 | BMA | IPFPNSS | -4.299937e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.782436e+00 | 1.00000
289 | BMA | IPFINAL | -1.083862e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.019294e-01 | 1.00000
290 | BMA | IPDCONGD | 2.168514e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.155248e-02 | 1.00000
291 | BMA | IPNCONGD | 4.464955e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.626257e-01 | 1.00000
292 | BMA | IPBUSEQ | 2.908983e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.233416e-01 | 1.00000
293 | BMA | IPMAT | -3.274678e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.542808e+00 | 1.00000
294 | BMA | IPNMAT | 9.931251e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.098419e-01 | 1.00000
295 | BMA | IPFUELS | -4.057648e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.206421e-02 | 1.00000
296 | BMA | HWI | -1.954497e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.923532e-06 | 1.00000
297 | BMA | HWIURATIO | 1.296311e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.594172e-02 | 1.00000
298 | BMA | CLF16OV | 1.334260e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.542169e-01 | 1.00000
299 | BMA | CE16OV | -1.107490e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.267798e-01 | 1.00000
300 | BMA | UNRATE | 3.976698e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.126364e-03 | 1.00000
301 | BMA | UEMPMEAN | 4.479508e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.375992e-04 | 1.00000
302 | BMA | UEMPLT5 | -8.345826e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.829115e-03 | 1.00000
303 | BMA | UEMP5TO14 | -6.724410e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.141039e-03 | 1.00000
304 | BMA | UEMP15OV | 5.722043e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.770319e-02 | 1.00000
305 | BMA | UEMP15T26 | -2.415579e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.061397e-02 | 1.00000
306 | BMA | UEMP27OV | -2.387745e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.450842e-02 | 1.00000
307 | BMA | CLAIMSx | 1.894981e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.224204e-03 | 1.00000
308 | BMA | PAYEMS | 9.379177e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.327782e+00 | 1.00000
309 | BMA | USGOOD | -1.165464e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.798075e+00 | 1.00000
310 | BMA | CES1021000001 | -6.647990e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.830768e-02 | 1.00000
311 | BMA | USCONS | -4.947934e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.878470e-01 | 1.00000
312 | BMA | MANEMP | 2.099518e+02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.135434e+01 | 1.00000
313 | BMA | DMANEMP | -1.264328e+02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.993945e+00 | 1.00000
314 | BMA | NDMANEMP | -8.612760e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.306480e+00 | 1.00000
315 | BMA | SRVPRD | -5.362620e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.737687e+00 | 1.00000
316 | BMA | USTPU | -1.132373e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.567867e-01 | 1.00000
317 | BMA | USWTRADE | 3.479274e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.895616e-01 | 1.00000
318 | BMA | USTRADE | 2.488922e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.874415e-01 | 1.00000
319 | BMA | USFIRE | -6.197322e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.364894e-01 | 1.00000
320 | BMA | USGOVT | -2.856361e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.951068e-01 | 1.00000
321 | BMA | CES0600000007 | 1.224435e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.912245e-03 | 1.00000
322 | BMA | AWHMAN | -1.274401e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.741080e-03 | 1.00000
323 | BMA | HOUST | 7.493413e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.675990e-02 | 1.00000
324 | BMA | HOUSTNE | -8.824702e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.257611e-03 | 1.00000
325 | BMA | HOUSTMW | -1.051764e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.247453e-03 | 1.00000
326 | BMA | HOUSTS | -4.375989e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.774091e-02 | 1.00000
327 | BMA | HOUSTW | -1.557988e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.398661e-02 | 1.00000
328 | BMA | PERMIT | 4.652506e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.022745e-02 | 1.00000
329 | BMA | PERMITS | -8.376472e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.129053e-02 | 1.00000
330 | BMA | PERMITW | -2.651373e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.899294e-03 | 1.00000
331 | BMA | ACOGNO | -6.925528e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.011146e-02 | 1.00000
332 | BMA | ANDENOx | 3.085921e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.119744e-03 | 1.00000
333 | BMA | ISRATIOx | 1.061983e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.063332e-02 | 1.00000
334 | BMA | M2SL | 1.312406e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.091038e-01 | 1.00000
335 | BMA | M2REAL | -1.163948e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.349383e-01 | 1.00000
336 | BMA | TOTRESNS | -1.067992e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.645986e-03 | 1.00000
337 | BMA | NONREVSL | -1.116233e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.013576e-02 | 1.00000
338 | BMA | SPdivyield | -2.158591e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.305597e-02 | 1.00000
339 | BMA | SPPEratio | -1.466113e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.019499e-02 | 1.00000
340 | BMA | CP3Mx | 4.182765e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.203443e-03 | 1.00000
341 | BMA | TB3MS | -3.791193e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.555805e-03 | 1.00000
342 | BMA | TB6MS | -1.339925e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.657096e-03 | 1.00000
343 | BMA | GS5 | 1.582848e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.839251e-03 | 1.00000
344 | BMA | GS10 | -4.098980e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.946515e-03 | 1.00000
345 | BMA | COMPAPFFx | -3.488237e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.696716e-03 | 1.00000
346 | BMA | TB3SMFFM | -5.675037e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.809465e-03 | 1.00000
347 | BMA | TB6SMFFM | 1.934316e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.938821e-03 | 1.00000
348 | BMA | T1YFFM | -6.297421e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.855082e-03 | 1.00000
349 | BMA | T5YFFM | -1.329457e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.546981e-03 | 1.00000
350 | BMA | T10YFFM | 1.425439e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.925585e-03 | 1.00000
351 | BMA | BAAFFM | -4.184564e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.106389e-03 | 1.00000
352 | BMA | TWEXAFEGSMTHx | -1.068787e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.097109e-01 | 1.00000
353 | BMA | EXSZUSx | 2.038815e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.363163e-02 | 1.00000
354 | BMA | EXJPUSx | 3.352766e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.495812e-02 | 1.00000
355 | BMA | EXUSUKx | -6.058948e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.877797e-02 | 1.00000
356 | BMA | WPSID61 | 3.729033e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.182514e-02 | 1.00000
357 | BMA | WPSID62 | 3.059478e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.429458e-03 | 1.00000
358 | BMA | OILPRICEx | -1.159378e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.862260e-03 | 1.00000
359 | BMA | PPICMM | 3.259637e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.354892e-03 | 1.00000
360 | BMA | CPIAUCSL | 4.870628e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.090943e-01 | 1.00000
361 | BMA | CPIAPPSL | -5.943072e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.240360e-02 | 1.00000
362 | BMA | CPITRNSL | -2.000183e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.117237e-01 | 1.00000
363 | BMA | CPIMEDSL | 1.268817e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.398433e-01 | 1.00000
364 | BMA | CUSR0000SAD | -1.176324e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.950445e-01 | 1.00000
365 | BMA | CUSR0000SAS | -1.095863e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.625972e-01 | 1.00000
366 | BMA | CPIULFSL | 3.901971e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.657043e-01 | 1.00000
367 | BMA | PCEPI | 6.866763e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.024812e+00 | 1.00000
368 | BMA | DDURRG3M086SBEA | -9.532467e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.634560e-01 | 1.00000
369 | BMA | DNDGRG3M086SBEA | -1.531950e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.422791e+00 | 1.00000
370 | BMA | DSERRG3M086SBEA | -4.550742e+01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.916238e+00 | 1.00000
371 | BMA | CES0600000008 | -1.493049e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 4.826920e-01 | 1.00000
372 | BMA | CES2000000008 | 4.828000e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.503686e-01 | 1.00000
373 | BMA | UMCSENTx | 8.645624e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.600441e-05 | 1.00000
374 | BMA | DTCOLNVHFNM | 2.544917e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.203072e-02 | 1.00000
375 | BMA | VIXCLSx | 2.784916e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.394768e-05 | 1.00000
376 | BMA | AWOTMAN | -1.327257e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.823896e-03 | 0.99872
377 | BMA | BOGMBASE | 1.137794e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.444255e-02 | 0.99826
378 | BMA | SPindust | -2.158660e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.870254e-02 | 0.99739
379 | BMA | BAA | -2.021290e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.042338e-03 | 0.94312
380 | BMA | CONSPI | 2.546046e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 9.616522e-01 | 0.91807
381 | BMA | IPDMAT | 3.987013e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.192258e-01 | 0.63539
382 | BMA | WPSFD49502 | -2.484231e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.967891e-01 | 0.63196
383 | BMA | IPMANSICS | 7.189330e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.669601e-01 | 0.43419
384 | BMA | WPSFD49207 | -1.817287e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.432665e-01 | 0.37055
385 | BMA | CES3000000008 | 2.190179e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.326319e-01 | 0.33144
386 | BMA | CUSR0000SAC | 3.910769e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.140726e-01 | 0.31587
387 | BMA | DTCTHFNM | -2.003753e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.284286e-02 | 0.29877
388 | BMA | CUSR0000SA0L2 | 3.938026e-01 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.813225e-01 | 0.27452
389 | BMA | EXCAUSx | -2.489352e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 5.231445e-02 | 0.20440
390 | BMA | NONBORRES | -1.282580e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.728493e-04 | 0.20205
391 | BMA | BUSINVx | 6.819731e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.557969e-01 | 0.17961
392 | BMA | AAAFFM | 9.039716e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.002487e-03 | 0.09594
393 | BMA | AAA | -1.695854e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.352598e-03 | 0.07291
394 | BMA | AMDMUOx | -6.237170e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.778731e-02 | 0.05728
395 | BMA | FEDFUNDS | 4.653320e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.211383e-03 | 0.04904
396 | BMA | IPCONGD | -6.450853e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 3.228457e-01 | 0.04480
397 | BMA | AMDMNOx | -1.039158e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.587264e-03 | 0.02898
398 | BMA | IPB51222S | 8.007886e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 6.719296e-03 | 0.02472
399 | BMA | REALLN | -2.258466e-03 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.666863e-02 | 0.02206
400 | BMA | CUMFNS | -1.505342e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.448512e-03 | 0.01625
401 | BMA | CUSR0000SA0L5 | 2.426053e-02 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.103444e-01 | 0.01553
402 | BMA | M1SL | -6.338479e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 7.006240e-03 | 0.01137
403 | BMA | BUSLOANS | 6.261764e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.350868e-03 | 0.00813
404 | BMA | GS1 | -9.868131e-05 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.363848e-03 | 0.00695
405 | BMA | PERMITMW | 5.239774e-05 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 8.663385e-04 | 0.00598
406 | BMA | INVEST | 1.810802e-06 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.484831e-03 | 0.00368
407 | BMA | SP500 | -6.621410e-04 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.211155e-02 | 0.00356
408 | BMA | PERMITNE | -8.372356e-06 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 2.916880e-04 | 0.00188
409 | BMA | (Intercept) | -1.642197e+00 | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | NA | 1.00000

Any suggestions to solve this issue? Thank you.

[jpfitzinger]

Hi, the problem is in the rank(-pip) <= MODEL_SIZE step. In your results you have more variables with PIP = 1.0 than MODEL_SIZE. Try either using rank(-pip, ties.method = "first") (this will solve the problem technically, but is a little arbitrary), or increase the number of BMA iterations.

I assume that setting burn and iter to very low values is the cause of the large number of variables with PIP = 1.0 in your results.

Hope this helps.