بیومهندسان دانشگاه اوتا دریافتند درک انسان از زبان می‌تواند بیش از آنچه تصور می‌شود، به بینایی متکی باشد و اینکه تحت شرایط مناسب، آنچه را که فرد می‌بیند، بر آنچه که وی می‌شنود، غالب می‌شود.
این یافته‌ها نشان می‌دهد ابزارهای شنوایی مصنوعی و نرم‌افزار تشخیص صدا می‌توانند از یک دوربین و نه فقط میکروفون بهره برند.
برای نخستین بار دانشمندان موفق شدند سیگنال شنیداری موجود در مغز را به آنچه شخص می‌گوید شنیده، مرتبط کنند، در حالی که آنچه وی واقعا می‌شنید، متفاوت بود.
براساس این مطالعه، بینایی بر بخش شنوایی مغز برای تغییر دادن حس انسان از واقعیت تاثیرگذار است.
به گفته الیوت اسمیت، دانشجوی بیومهندسی و علوم اعصاب دانشگاه اوتا و رهبر ارشد این مطالعه، مغز بینایی و صدا را هنگام پردازش سخن در نظر می‌گیرد؛ با این حال، چنانچه این دو اندکی از یکدیگر متفاوت باشند، علائم بینایی بر علائم شنوایی غلبه می‌کنند.
این پدیده اثر McGurk نام دارد و «هری مک‌گورک» روانشناس شناختی اسکاتلندی آن را مطرح کرد. وی در دهه 1970 پیشگام انجام مطالعات ارتباط بین شنوایی و بینایی در درک سخن بود.
اثر «مک‌گورک» دهه‌هاست مد نظر گرفته شده، با این حال، منشا آن تاکنون مشخص نبود.
تیم دانشگاه اوتا با ضبط و تحلیل سیگنال‌های مغز در temporal cortex (ناحیه‌ای از مغز که صدا را پردازش می‌کند) منبع اثر مزبور را شناسایی کرد.
اسمیت با کمک همکارانش سیگنال‌های الکتریکی ناشی از سطوح مغز چهار بزرگسال مبتلا به صرع شدید (دو مرد و دو زن) را ضبط کردند.
آن‌ها الکترودهایی به اندازه یک دگمه را بر روی نیمکره‌های چپ، راست و مرکز مغز هر یک از سوژه‌ها قرار دادند. محققان این عمل را بسته به اینکه تصور می‌شد حملات صرع بیمار از کجا ناشی می‌شود، انجام دادند.
این آزمایش بر روی داوطلبانی صورت گرفت که مبتلا به صرع شدید بودند و عمل‌های جراحی را با هدف درمان بیماری‌شان انجام داده بودند.
از این چهار سوژه خواسته شد ویدیویی‌هایی متمرکز بر روی دهان شخصی را هنگامی که وی بخش‌های «با»، «وا»، «گا» و «تا» را می‌گفت، تماشا کنند و بشنوند.
بسته به اینکه کدام یک از ویدیوهای مختلف تماشا می‌شد، بیماران دارای یکی از سه تجربه محتمل به هنگام نگاه‌کردن به بخش‌های گفته‌شده بودند.
در یکی از این حالت‌ها، حرکت دهان با صدا مطابقت داشت؛ به‌طور مثال، هنگامی که ویدیو «با» را نشان می‌داد، صدای شنیداری نیز «با» بود و بنابراین، بیماران «با» را می‌دیدند و می‌شنیدند.
در حالت دیگر، حرکت دهان به وضوح با صدای متناظر مطابقت نداشت، درست مانند فیلمی که خوب دوبله نشده است. به‌طور مثال، ویدیو «گا» را نشان می‌داد اما شنیداری «تا» بود و بنابراین، بیماران این تمایز را درک می‌کردند و به درستی «تا» را می‌شنیدند.
در حالت سوم، حرکت دهان فقط اندکی با صدای متناظر مطابقت نداشت، به‌طور مثال، فیلم «با» را نشان می‌داد، شنیدار «وا» بود و بیماران صدای «با» را می‌شنیدند، گرچه صدا در واقع «وا» بود.
این امر نشان‌دهنده اثر مک‌گورک است که در آن بینایی بر شنیداری غالب می‌شود.
با اندازه‌گیری سیگنال‌های الکتریکی مغز به هنگام تماشای ویدیو، اسمیت و تیم علمی‌اش دریافتند که آیا سیگنال‌های شنیداری یا دیداری مغز در شناسایی بخش‌ها در هر ویدیو به‌کار می‌رفت.
هنگامی که بخش گفته‌شده با صدا مطابقت داشت، یا اینکه به هیچ وجه با آن مطابقت نداشت، فعالیت مغز در همبستگی با صدایی که مشاهده می‌شد، افزایش می‌یافت.
با این حال، هنگامی که ویدیوی دارای اثر مک‌گورک تماشا می‌شد، الگوی مشاهده برای شباهت‌داشتن با آنچه فرد می‌دید و نه آنچه می‌شنید، تغییر می‌کرد.
تحلیل‌های آماری نیز این اثر را در تمامی سوژه‌های مورد آزمایش تایید کردند.
یافته‌های جدید به محققان در درک آنچه پردازش زبانی را در مغز هدایت می‌کند، کمک می‌کند؛ به ویژه در مغز در حال رشد نوزاد که در تلاش برای متصل‌کردن صداها و حرکت دهان برای یادگیری زبان است.
جزئیات این مطالعه در مجله PLOS ONE منتشر شد.