AI Investor Barometer

Tekoälyt ovat yhä useammin mukana sijoituspäätöksissä — joko suoraan tai epäsuorasti analyysityökaluissa, uutiskoosteissa ja chatboteissa. Ongelmana on, että yksittäinen malli vaikuttaa luotettavalta, vaikka se systemaattisesti yli- tai aliarvioi tiettyjä osakkeita.

Kun viisi eri mallia arvioi saman yhtiön samana päivänä, näkyy heti:

• Ovatko mallit yksimielisiä — vai eroavatko arviot rajusti?
• Onko jokin malli johdonmukaisesti korkeampi tai matalampi kuin muut?
• Muuttaako jokin malli arvioitaan päivittäin, kun taas toinen pysyy vakaana?
• Pysyykö jokin malli lähempänä analyytikkokonsensusta kuin toinen?

Nämä kysymykset ovat olennaisia, jos haluat ymmärtää miten eri tekoälymallit eroavat toisistaan. Tämä työkalu tekee mallikohtaisen vertailun näkyväksi.

Useimmat tekoälyn tuotokset ovat mustia laatikoita: malli antaa suoraan numeron ilman, että tiedät miten se siihen päätyi. Tässä projektissa lähestymistapa on erilainen.

Lähestymistapa tekee mallikohtaiset erot läpinäkyviksi: jos GPT ja Claude päätyvät eri arvioihin, se johtuu eri kasvuoletuksista — ei siitä, että toinen "laski väärin".

• Ei sijoitussuositus. Kaikki sisältö on tekoälymallien laskennallisia arvioita, ei sijoitusneuvontaa. Tee omat johtopäätöksesi.
• Tekoälyt voivat systemaattisesti erehtyä. Mallit oppivat historiallisesta datasta, joka saattaa olla puolueellista tai epätäydellistä. Korkea luottamusluku ei tarkoita oikeassa olemista.
• Vain julkinen data. Mallit käyttävät pelkästään julkisesti saatavilla olevaa tilinpäätösdataa ja markkinainformaatiota.
• Kokeellinen työkalu. Tämä on kokeellinen tekoälyjen vertailu- ja mittaustyökalu. Data voi olla puutteellista, ajastin voi epäonnistua, tulokset voivat olla virheellisiä.

Kasvava akateeminen tutkimuskirjallisuus tutkii pystyvätkö suuret kielimallit päättelemään taloudellisesta datasta. Useimmat tutkimukset testaavat yhtä mallia yhdessä tehtävässä — sentimenttiluokittelussa, tulosennustamisessa tai kurssimuutosten ennustamisessa. Tämä projekti lähestyy asiaa toisin: viisi LLM:ää suorittaa saman arvostustehtävän päivittäin kuukausien ajan, tuottaen käyttäytymisdatasarjan joka tallentaa miten mallien näkemykset muodostuvat, liukuvat ja eroavat.

Alusta tuottaa kolmenlaista empiiristä dataa jota on vaikea saada muualta: ajallinen johdonmukaisuus (kuinka paljon malli muuttaa arviotaan samasta osakkeesta päivästä toiseen), mallien välinen erimielisyys (missä mallit konvergoivat ja missä eivät) ja oletusten läpinäkyvyys (tarkat CAGR-, marginaali- ja WACC-syötteet jotka kukin malli tuottaa, ei pelkkä lopputulos).

Valikoituja viittauksia LLM-taloustutkimuksen kirjallisuudesta:

• Kim, A., Muhn, M. & Nikolaev, V. (2024). Financial Statement Analysis with Large Language Models. University of Chicago Booth.
• Lopez-Lira, A. & Tang, Y. (2023). Can ChatGPT Forecast Stock Price Movements? SSRN.
• Xie, Q. et al. (2024). FinBen: A Holistic Financial Benchmark for Large Language Models. arXiv.