19 Agosto 2023
Há cerca de seis anos, os cientistas descobriram um novo tipo de modelo de rede neural mais poderoso conhecido como transformador. Estes modelos podem alcançar um desempenho sem precedentes, como gerando texto a partir de comandos com precisão quase humana. Um transformador está subjacente a sistemas de IA como ChatGPT e Bard, por exemplo. Embora incrivelmente eficazes, os transformadores também são misteriosos: ao contrário de outros modelos de rede neural inspirados no cérebro, não tem sido claro como construí-los usando componentes biológicos.
A informação é de Adam Zewe, publicada por MIT News, e reproduzida por Techxplore, 15-08-2023.
Agora, pesquisadores do MIT, do MIT-IBM Watson AI Lab e da Harvard Medical School produziram uma hipótese que pode explicar como um transformador pode ser construído usando elementos biológicos no cérebro. Eles sugerem que uma rede biológica composta de neurônios e outras células cerebrais chamadas astrócitos poderia realizar o mesmo núcleo de computação que um transformador.
Pesquisas recentes mostraram que os astrócitos, células não neuronais que são abundantes no cérebro, se comunicam com neurônios e desempenham um papel em alguns processos fisiológicos, como regular o fluxo sanguíneo. Mas os cientistas ainda não têm uma compreensão clara do que estas células fazem computacionalmente.
Com o novo estudo, publicado esta semana em Proceedings of the National Academy of Sciences, os pesquisadores exploraram o papel que os astrócitos desempenham no cérebro de uma perspectiva computacional, e elaboraram um modelo matemático que mostra como eles poderiam ser usados, juntamente com os neurônios, para construir um transformador biologicamente plausível.
A hipótese deles fornece ideias que podem desencadear futuras pesquisas de neurociência sobre como o cérebro humano funciona. Ao mesmo tempo, poderia ajudar os pesquisadores de aprendizagem automática a explicar porque é que os transformadores são tão bem-sucedidos num conjunto diversificado de tarefas complexas.
Quando dois neurônios se comunicam, um neurônio pré-sináptico envia sinais químicos chamados neurotransmissores através da sinapse que o conecta a um neurônio pós-sináptico. Às vezes, um astrócito também está conectado - envolve um longo e fino tentáculo em torno da sinapse, criando uma sinapse tripartida (três partes). Um astrócito pode formar milhões de sinapses tripartidas.
O astrócito recolhe alguns neurotransmissores que fluem através da junção sináptica. Em algum momento, o astrócito pode sinalizar de volta aos neurônios. Porque os astrócitos operam numa escala de tempo muito mais longa do que os neurônios - eles criam sinais elevando lentamente a sua resposta ao cálcio e depois diminuindo-a - estas células podem segurar e integrar informações comunicadas a eles a partir dos neurônios. Desta forma, os astrócitos podem formar um tipo de buffer de memória, diz Krotov.
"Se pensarmos nisso a partir desta perspectiva, então os astrócitos serão extremamente naturais precisamente para a computação necessária para realizar a operação de atenção dentro dos transformadores".
Com esta visão, os pesquisadores formaram a sua hipótese de que os astrócitos poderiam desempenhar um papel na forma como os transformadores calculam. Então eles começaram a construir um modelo matemático de uma rede neurônios-astrócitos que funcionaria como um transformador.
Eles tomaram o núcleo da matemática que compõe um transformador e desenvolveram modelos biofísicos simples do que os astrócitos e neurônios fazem quando se comunicam no cérebro, com base num mergulho profundo na literatura e na orientação de colaboradores neurocientistas.
Depois combinaram os modelos de certas formas até chegarem a uma equação de uma rede neurônios-astrócitos que descreve a autoatenção de um transformador.
O próximo passo para os pesquisadores é dar o salto da teoria para a prática. Eles esperam comparar as previsões do modelo com aquelas que foram observadas em experiências biológicas, e usam este conhecimento para refinar - ou possivelmente refutar - a sua hipótese.
Além disso, uma implicação do seu estudo é que os astrócitos podem estar envolvidos na memória de longo prazo, uma vez que a rede precisa armazenar informações para poder agir sobre ela no futuro.
"Por muitas razões, os astrócitos são extremamente importantes para a cognição e comportamento, e operam de formas fundamentalmente diferentes dos neurônios".
KOZACHKOV, Leo; KASTANENKA, Ksenia V.; KROTOV, Dmitry. Building transformers from neurons and astrocytes. Proceedings of the National Academy of Sciences, v. 120, n. 34, 2023.
En la entrevista con Evgeny Morozov, se visualizó el contexto del desarrollo de las tecnologías digitales y sus implicaciones so[...]
LER MAIS
O historiador Yuval Noah Harari, um dos pensadores do momento, reflete sobre como a inteligência artificial e o ‘big data’ tr[...]
LER MAIS
