ДА СЕ БИДЕ ИЛИ НЕ: ИНФОРМАТИВНА СТУДИЈА ЗА ОБРАБОТКА НА НЕСИМБОЛИЧКА НУМЕРИЧКА МАГНИТУДА ЗА МАЛИТЕ НАСПРОТИ ГОЛЕМИТЕ БРОЕВИ КАЈ ДОЕНЧИЊАТА   
                                                     
Анелис СЕУЛЕМАНС1
Том ЛОЈС2
Карел ХОПЕНБРОУВЕРС3
Анеми ДЕСУТЕ4

 

1Оддел за експериментална клиничка и здравствена психологија, развојни нарушувања, Универзитет во Гент;
2Оддел за анализа на податоци, Универзитет во Гент;
3Центар за здравствена грижа, Католички универзитет во Левен;
4Оддел за експериментална клиничка и здравствена психологија, развојни нарушувања, Универзитет во Гент и Артевелде, Универзитетски колеџ во Гент, Белгија.

 

TO BE OR NOT TO BE: AN INFORMATIVE NON-SYMBOLIC NUMERICAL MAGNITUDE PROCESSING STUDY ABOUT SMALL VERSUS LARGE NUMBERS IN INFANTS

 

Annelies CEULEMANS1
Tom LOEYS2
Karel HOPPENBROUWERS3
Annemie DESOETE4

 

 

1Department of Experimental Clinical and Health Psychology, Developmental Disorders, Ghent University
2Department of Data-analysis, Ghent University,
3Centre for Youth Health Care, Catholic University of Louvain,
4Department of Experimental Clinical and Health Psychology, Developmental Disorders, Ghent University and Artevelde University College Ghent, Belgium

 

Примено: 01. 06. 2013
Прифатено: 18. 11. 2013
UDK: 159.937.522-053.31

 

 

Recived: 01.06.2013
Accepted: 18.11.2013
Original article

 

 

 

Вовед

 

Introduction

 

 

 

Математичката писменост е од големо значење за нашето општество. Некои луѓе имаат проблеми при усвојувањето математички знаења и имаат тешки проблеми при обработката на бројки и магнитуди. Проценето е дека распространетоста на нарушувањето за усвојување математички операции (Mathematical Learning Disorders [MLD]) изнесува меѓу 2 и 16% од популацијата, во зависност од земјата на истражување и од употребените критериуми (1, 2). Имајќи предвид дека MLD е поврзано со трошоци за општеството, семејствата и за личноста, важно е подобро да се разбере причината за овој проблем при обработувањето броеви за да се развие ран третман што ќе се насочи кон основните причинители.

Постојат неколку модела во обидот да се опишат или да се објаснат механизмите за основниот квантитет на тешкотии за обработување на децата со MLD. Некои истражувачи сметаат дека проблемот на децата со MLD е резултат на специфично нарушување во основната нумеричка обработка (3,4). Според некои истражувања, децата со MLD побавно ги обработуваат малите броеви од нивните врсници со типичен развој (5). Сепак, не е постигнат консензус околу овој проблем, бидејќи другите истражувања не ги поддржуваат овие сознанија (6,7). Некои несовпаѓања можат да се објаснат со несимболичките стимули за бројот или со точкестите прикази употребени во истражувањата. Поставена е хипотеза за постоење систем за „мали“ и систем за „големи“ броеви. Сепак, податоците за обработување „мал“ број и за „границата“ меѓу малите и големите броеви, се оскудни.       

Бројките се инхерентно присутни во секојдневниот живот дури и кај многу малите деца. Изложеноста на квантитет започнува многу рано. Истражувањата за предвербалните деца откриле дека кај доенчињата се среќаваат два система за обработка на броевите (8-10). Првиот систем е објектно-датотечен систем, којшто дозволува точно претставување на ограничен број ставки (11, 12). Со овој систем се предлага за поставките до четири, доенчињата да можат да кореспондираат со еден на еден за секоја ставка, што овозможува прецизна дискриминација во рангот на малите броеви. Вториот систем е систем на аналогна магнитуда што дава понепрецизно, приближно претставување на поголемите броеви (9). Во овој случај, бројната дискриминација зависи од размерот, што значи дека негово клучно својство е релацијата меѓу два броја. Поголемо растојание меѓу броевите (како резултат на зголемениот размер) значи полесна дискриминација. Двосистемскиот профил е поддржан со поставување лимит на големини кај објектно-датотечниот систем што функционира како референтна точка за определување на границата меѓу опсегот на мали и големи броеви (13,14).
Обработката на нумеричката магнитуда е често истражувана кај доенчиња со хабитуациската парадигма (10, 14-20). Задачите според оваа парадигма се потпираат на хабитуацијата на одреден број ставки во текот на една фаза. За оваа задача децата гледаат одреден број стимули (на пр., приказ на точки) сѐ додека не се навикнат на нив (или не достигнат максимален број хабитуациски обиди, најмногу 14). Потоа тие го гледаат, наизменично, истиот број и новиот број. Дисхабитуацијата (или помалку гледање) на стариот број или подолго гледање во новиот број во текот на одредена фаза од тестирањето се смета како индикација за дискриминација (или воочување на разликата) на броевите. Што се однесува до објектно-датотечниот систем, претходните истражувања илустрираат поставен лимит на големини на три ставки. Овие истражувања оценуваат дека доенчињата не можат да разликуваат четири ставки од мали броеви во размер 1:2, 2 vs. 4 (10). Тие, сепак, ги разликуваат оние ставки од големи броеви поставени со ист размер, 4 vs. 8 (10). Заедно со неуспехот за разликување три ставки од големи броеви во размер 1:2, 3 vs. 6 (12), се претпочита лимитот на објектно-датотечниот систем да биде три за доенчињата. Според тоа, поставеноста на три и помалку е категоризирана во рамките на „мали“ броеви, додека поставеноста што го надминува ова ограничување е опфатена во рамките на „големи“ броеви (10, 15). 6-месечни бебиња ги разликуваа големите броеви во размер 1:4, 4 vs. 16 (19); 1:3, 7 vs. 21 (20) или 1:2, 4 vs. 8, 8 vs. 16, 16 vs. 32 (10, 15, 17, 19, 21). Разликувањето не беше возможно во размер 2:3, 8 vs. 12, 16 vs. 24 (15, 18). Исто така беа истражувани и комбинации од мали и големи броеви. Сепак, сѐ уште не е постигнат консензус. Истражувањата не дадоа позитивни резултати за разликување на комбинациите од броевите 2 vs. 4 (10, 11) и 3 vs. 6 (12), во чиишто рамки броевите беа претставени во размер 1:2. Овој неуспех се објаснува со некомпатибилноста на форматите за претставување бидејќи малата поставеност (во овој случај два и три) е претставена од објектната датотека, а големата поставеност од аналогната магнитуда (во овој случај четири и шест). Поради ова, невозможно е да се споредат два претставени броја во различни комбинации. Оваа некомпатибилност, сепак, не го објаснува успешното разликување на малите и големите броеви, како што е покажано за 7-месечни доенчиња при поставеноста 1 vs. 4 (12). Авторите, затоа, ја предложија хипотезата за прагот, според која е потребен минимален праг на промена за да можат доенчињата да ја разликуваат малата од големата поставеност. Според ова, доенчињата би можеле да ги игнорираат објектните датотеки и да се раководат само според аналогната магнитуда кога размерот меѓу малите и големите броеви го достигнува критичниот праг од 1:4 (или можеби дури и 1:3).           
Така, еден начин за објаснување на разликувањето на една од четирите ставки е дека комбинацијата 1 vs. 4 е целосно обработена од системот на аналогни магнитуди. Сепак, друго објаснување е одредувањето на лимитот на големината на објектно-датотечниот систем, сугерирајќи дека 4 може да биде „мал“ број обработен од објектната датотека. Неодамнешните истражувања покажаа успешно разликување во комбинациите 1 vs. 3 (22) и 2 vs. 3 (16), поддржувајќи ги конкретните карактеристики на објектно-датотечниот систем. Сепак, овој систем може да ги изброи само броевите до четири (23, 24). Затоа може да се доведе во прашање дали 4 е „мал“ или „голем“ број и дали одредувањето на големината може да биде повисоко отколку што се претпоставувало (10, 15).
Целта на ова истражување е да испита дали бројот 4 е „мал“ или „голем“ број со две претходно испитувани комбинации со бројот 4 со мали и големи броеви, соодветно. Во првиот експеримент, во текот на хабитуациската задача 9-месечните бебиња треба да ги разликуваат 4 и 8 (со претпоставка дека се „големи“ броеви). Оваа комбинација на броевите претходно била успешна за 6-месечните бебиња (18). Следствено, се очекуваше и овојпат учесниците да покажат успех. Во вториот експеримент, друга група 9-месечни бебиња имаа хабитуациска задача за 1 vs. 4. Неодамна Cordes и Brannon (12) открија дека 7-месечните бебиња прават разлика меѓу овие броеви.
Доколку доенчињата успешно ги решат овие комбинации, тогаш бројот 4 може да се смета за „голем“ број во согласност со претходните истражувања (10). Дополнително може да се потврди хипотезата за прагот (12). Ако за 1 vs. 4 не се добие позитивен резултат, а се добие за 4 vs. 8, тогаш 4 е голем број без потврдување на хипотезата за прагот. А доколку 4 може да се разликува од 1, но не може да се разликува од 8, тогаш може да се обработува како „мал“ број.
Ова истражување го разгледува ова прашање со поголем примерок (N ≈ 25 наместо N = 16) и со посоодветни методи од претходните (10, 17). Понатаму, одлуката за тоа каде гледа детето (за да се измери времето на гледање) во ова истражување се базира на снимање на вкочанетиот поглед на детето, наместо со снимање на правецот на лицето на доенчето со VCR. Ова може да придонесе за подобар увид во способностите за разликување мали броеви кај доенчињата. Во доменот на превенцијата, со овие подобрени сознанија може да се обезбеди рана детекција на индивидуалните разлики. Следствено, ќе може да се направи разлика меѓу ризични деца и деца со типичен развој. Повеќе информации за овој метод се дадени во поврзаниот дел.

 

Mathematical literacy is important in our society. Some individuals have problems acquiring mathematical literacy and remain having severe problems to process numbers and magnitudes. The estimated prevalence of Mathematical Learning Disorders (MLD) lies between 2 and 16% of the population depending on the country of the study and the used criteria (1, 2). Given that MLD is associated with cost to society, family and the individual person, it is important to understand better what causes these problems in number processing so that early treatments can be developed and targeted at the underlying causes.
There are several models trying to describe or explain the mechanisms underlying quantity processing deficits in children with MLD. Some researchers consider the problems of children with MLD as the result of a specific disorder in basic numerical processing (3, 4). According to some studies, children with MLD are slower elaborating small numbers compared to typical achieving peers (5). However, there is no consensus on this problem since other studies do not support this finding (6, 7). Some of the inconsistencies might be explained by the number of non-symbolic stimuli or dot collections used in studies. It has been hypothesized that there is a system for ‘small’ and a system for ‘large’ numbers. However, data on ‘small’ number processing and on the ‘boundary’ between small and large numbers are scarce.
Numbers are inherently present in everyday life even in very young children. The exposure to quantities starts quite early. Studies on preverbal children revealed that infants rely on two systems to process numbers (8-10). The first system is an object-file system, which allows an exact representation of a limited number of items (11, 12). This system proposes that for sets of up to four, infants have an exact one-to-one correspondence representation of the items, allowing precise discrimination in the small number range. The second system is an analogue magnitude system that enables a less precise, approximate representation of larger numbers (9). In this case, number discrimination is ratio-dependent, meaning that the relation between two numbers is its key feature. The larger the distance between the numbers (as a result of an increasing ratio), the easier the discrimination. The two-system account is supported by the set size limit of the object-file system, which functions as the reference point for defining the boundary between the small and large number range (13, 14).
Numerical magnitude processing has often been studied in infants using a habituation paradigm (10, 14-20). Tasks according to this paradigm rely on habituation to a number of items during one phase. In these tasks children see a specific number of stimuli (e.g., a collection of dots) until they are habituated to it (or had a maximum number of habituation trials, mostly 14). Afterwards, they see, in alternating order, the same number and a new number. Dishabituation (or less looking) to the old number or longer looking at a novel number during a test phase are considered as an indication of discriminating (or seeing the difference) between the numbers. Regarding the object-file system, previous studies illustrated a set size limit of three items. Those studies revealed that infants could not discriminate four items from a small number in a 1:2 ratio, 2 vs. 4 (10). They did, however, discriminate those items from a large number in a set with the same ratio, 4 vs. 8 (10). Together with the failure of discriminating three items from a larger number in a 1:2 ratio, 3 vs. 6 (12), the limit of the object-file system is supposed to be three for infants. Set sizes of three and fewer are, therefore, categorised within the ‘small’ number range, while set sizes exceeding this limit are situated within the ‘large’ number range (10, 15). Large numbers were discriminated by 6-month-olds within a ratio of 1:4, 4 vs. 16 (19); 1:3, 7 vs. 21 (20) or 1:2, 4 vs. 8, 8 vs. 16, 16 vs. 32 (10, 15, 17, 19, 21). Discrimination was not possible in a 2:3 ratio, 8 vs. 12, 16 vs. 24 (15, 18). Combinations including a small and a large number were also investigated. Though, a consensus has not been reached yet. Studies did not find positive results for the discrimination of the number combinations 2 vs. 4 (10, 11) and 3 vs. 6 (12), in which numbers were presented in a 1:2 ratio. This failure was explained by the incompatibility in representational formats since small sets (in this case two and three) were represented by object files and large sets by analogue magnitudes (in this case four and six). This would make it impossible to compare the two presented numbers within the different combinations. This incompatibility, however, cannot explain the successful discrimination of the small from a large set as shown by 7-month-olds in 1 vs. 4 (12). The authors, therefore, proposed the threshold hypothesis according to which a minimum threshold of change is needed for infants to discriminate a small from a large set. Following this account, it might be possible for infants to ignore the object files and solely use analogue magnitudes when the ratio between a small and a large set exceeds a critical threshold of 1:4 (or maybe even 1:3).
Therefore, one way of explaining the discrimination of one from four items is that the combination 1 vs. 4 is entirely processed by the analogue magnitude system. However, another explanation is the set size limit of the object-file system by suggesting that four might be a ‘small’ number processed by object-files. Recent studies have shown successful discrimination for the combinations 1 vs. 3 (22) and 2 vs. 3 (16), supporting the precise-characteristic of the object-file system. However, this system can account for number sets up to four (23, 24). It can, therefore, be questioned whether four is a ‘small’ or a ‘large’ number and whether the set size limit might be larger than previously assumed (10, 15). 
This study aims to investigate whether four is either a ‘small’ or a ‘large’ number, with two previously studied number combinations combining the number four with a small and a large number, respectively. In the first experiment 9-month-olds need to discriminate four and eight (assumed to be ‘large’ numbers) during a habituation task. This number combination was previously successful in 6-month-olds (18). Consequently, participants were expected to succeed. In the second experiment, another group of 9-month-olds received the 1 vs. 4 habituation task. Recently, Cordes and Brannon (12) found that 7-month-olds could discriminate between those numbers. 
If infants are successful in both combinations, four can be categorized as a ‘large’ number in line with previous studies (10). In addition, the threshold hypothesis (12) can be confirmed. If 1 vs. 4 is not successful but 4 vs. 8 is, thеn four is likely to be a ‘large’ number without confirming the threshold hypothesis. If however, four can be discriminated from one but not from eight, four might be processed as a ‘small’ number.
The current study addressed this issue with a larger sample (N ≈ 25 instead of N = 16) and a more accurate method than previous ones (10, 17). Furthermore, the decision of where a child was looking (to measure looking times) in this study was based on the recording of the infant’s gaze by eye-tracking instead of the recorded direction of the infant’s face by a VCR. This might help to reach a better insight in the ability of discriminating small numbers in infants. Within the scope of prevention early detection of individual differences may be established by this better knowledge. Consequently, it might be possible to distinguish children at risk from typical developing children. More information on this method is given in the related section.

 

 

 

Методологија

 

 

Method

Учесници

 

Participants

 

 

 

Во ова истражување учествуваа учесниците од едно поголемо лонгитудиално истражување. „Деца и семејство“ (Dutch: Kind en Gezin; http://www.kindengezin.be), владина агенција одговорна за малите деца и семејствата во Фландрија ги информираа родителите на децата родени меѓу мај 2008 и април 2009 година, коишто живеат во различни делови во Фландрија, Белгија. Од родителите што пополнија согласност за информираност, 10% беа поканети, по случаен избор, со информативно писмо за учество во дополнително мултидисциплинарно лонгитудинално истражување, од коешто е дел и ова истражување. Истра-жувањето беше спроведено на клиниката „Деца и семејство“. Родителите беа телефонски контактирани за состанок, доколку се согласиле.
Ова истражување вклучува 25 доенчиња, 10 машки и 15 женски, на возраст од 33 до 38 недели (M = 36,32 недели, SD = 1,55), коишто учествуваа во првиот експеримент (4 vs. 8). Понатаму, на 26 доенчиња (14 машки и 12 женски) на иста возраст (M = 35,73 недели, SD = 1,56) им беа дадени задачи за вториот експеримент (1 vs. 4).  
Дванаесет доенчиња беа исклучени од истражувањето поради софтверска грешка во текот на тестирањето (n = 8), недоволно собирање податоци како резултат на вознемиреност (n = 2) или отсуство на внимание (n = 1) и поради губење на податоците на компјутерот по тестирањето (n = 1).

 

Participants for this study were recruited within the scope of a larger longitudinal study. Child & Family (Dutch: Kind en Gezin; http://www.kindengezin.be), a governmental agency with responsibility for young children and families in Flanders informed parents of children born between May 2008 until April 2009 and living in different districts in Flanders, Belgium. From the parents who filled out an informed consent, 10% were randomly invited with an informative letter to participate in an additional multidisciplinary longitudinal study, of which this study is one part. The research moments took place at clinics of Child & Family. Parents were contacted by phone for appointments if they consented. 
The study reported here included 25 infants, 10 boys and 15 girls, aged between 33 and 38 weeks (M = 36.32 weeks, SD = 1.55) which were assigned to the first experiment (4 vs. 8). Furthermore, 26 infants were included (14 boys and 12 girls) with the same age range (M = 35.73 weeks, SD = 1.56) who were assigned to the second experiment (1 vs. 4).
12 infants were excluded from the study because of software failure during testing (n = 8), insufficient data collecting due to fussiness (n = 2) or inattentiveness (n = 1) and loss of the data on the computer afterwards (n = 1).

 

 

 

Дизајн

 

Design

 

 

 

Хабитуациската задача беше составена од хабитуација и фаза на тестирање. Доенчињата беа избрани по случаен избор за еден или два услова во текот на хабитуацијата. Половина од доенчињата беа хабитуирани на прикази на најмал број точки (1 наместо 4 точки или 4 наместо 8 точки), другите на најголем број точки (4 наместо 1 или 8 наместо 4 точки) на дадена поставеност на броевите. Потоа, во фазата на тестирање, како алтернација беа направени шест тестирања со прикази на најмал или на најголем број елементи. Редоследот беше врамнотежен за учесниците, спроведувачот на експериментот не беше запознaeн со условот за којшто е пријавено детето. 

 

The habituation task consisted of a habituation and a test phase. Infants were randomly assigned to one of two conditions during habituation. Half of the infants were habituated to displays with the smallest number of dots (1 dot instead of 4 dots, or 4 dots instead of 8 dots) and the others to the largest number of dots (4 dots instead of 1 dot, or 8 dots instead of 4 dots) of the given number set. Afterwards, in the test phase, six test trials with displays containing either the smallest or the largest numbers of elements were shown in alternation. The order was counterbalanced across participants and the experimenter was blind to the condition to which a child was assigned.

 

Стимули

 

 

Stimuli

 

 

 

Стимулите беа генерирани од Матлаб (www.mathworks.com), 4 или 1 и 8 или 4 низи елементи од точки на бела квадратна заднина. Точките варираат во позицијата низ низите. На 60 сантиметри оддалеченост од погледот, на 15,88 х 15,06 см низа од стимули, се создава лак од 15,07 х 14,30 степени визуелен агол. За секој услов беа прикажани шест различни хабитуациски прикази. Точките беа црвени зашто се трудевме да го привлечеме и да го задржиме вниманието на доенчињата (25‡27). Сите стимули беа контролирани за континуираните варијабли (големина на ставките и нивното меѓусебно растојание на ниво на ставки и поврзаните параметри за прилагодување на нивната вкупна големина и вкупно опфатената површина за поставување) според процедурата на Dehaene, Izard и Piazza (28). Природата на стимулите ја наметнува корелацијата меѓу интензивните варијабли (дефинирани на ниво на ставки: големина на ставките и нивното меѓусебно растојание) и екстензивните (дефинирани на ниво на поставување: соодветно, вкупна големина на ставките и вкупно опфатената површина за поставување, коишто се зголемуваат со бројноста).
Стимулите беа дизајнирани така што, настрана од промените во бројките, сите вредности на параметрите презентирани во текстот, исто така беа презентирани при хабитуацијата, и така подеднакво не се нови (28). Ова беше утврдено со цртање на еден параметар (интензивен или екстензивен) од фиксната дистрибуција соодветно со бројноста на стимулите за хабитуација додека останатите параметри варираа со бројноста.     
За стимулите за тестирање беше употребен обратен редослед. Во ова истражување вкупниот број ставки и вкупната опфатена површина беа фиксни во текот на хабитуацијата додека поврзаните интензивни параметри варираат со броевите. Како последица, големината на точките во рамките на низите од елементи варираше во обидите и фазите на задачата.

 

Stimuli were Matlab-generated (www. mathworks.com) 4 or 1 and 8 or 4 element arrays of dots in a white square background. These dots varied in position across the arrays. At a 60-cm viewing distance, the 15.88 x 15.06 cm stimulus arrays subtended 15.07 x 14.30 degrees visual angle. Six different habituation displays were shown in each condition. The dots were red for reasons of concern to attract and sustain the attention of the infants (25‡27). All stimuli were controlled for continuous variables (item size and inter item distance at item level and the related set-parameters total item size and total occupied set area) according to the procedure of Dehaene, Izard and Piazza (28). The nature of the stimuli imposes correlations between intensive variables (defined at item level: item size and inter item distance) and extensive ones (defined at set level: respectively, total item size and total occupied area of the set which both increase with numerosity). 
Stimuli were designed that, aside the change in number, all the parameter values presented in the test have also been presented in the habituation and thus being equally non-novel (28). This was established by drawing one parameter (intensive or extensive) from a fixed distribution regardless of the numerosity for habituation stimuli while the other parameter varied with numerosity.
For test stimuli this was reversed. In this study total item size and total occupied area were fixed during habituation while the correlated intensive parameters varied with number. As a consequence, dot sizes within the element-arrays varied across trials and phases of the task.

 

 

 

Апаратура

 

Apparatus

 

 

 

Децата седат во скутот на нивните родители пред Tobii T60 17-инчен монитор во кој е вграден трагач на поглед (eye-tracker) со корнеална рефлексија (29). Овој уред употребува светли и темни човечки ликови за следење на погледот и собира податоци со стапка од 60 Hz и со точност од 0,5 степени. Дозволено е слободно движење на главата во рамките на квадрат од 44 x 22 x 30 cm и кога едното око привремено не може да се следи, се употребуваат податоците од другото око. Во случај да се изгуби трагата, времето на поправка вообичаено е 300 ms, а поправката на следењето на трепнувањето е максимум 17 ms. Податоците од погледот беа собрани со софтверот на Tobii Studioна пренослив компјутер со користење на прилагодувањата на радиусот на фиксирање со Tobii Fixation Filter на 35 пиксели (30). Понатаму, употребена е Habit X-верзијата 1.0, софтвер за хабитуациска парадигма (31) во комбинација со трагачот на поглед со користење на екстерни видеоснимања. Според овој медиум, стимулите претставени од Habit Xпохабитуациската парадигма се доживуваат како филм со секвенци на стимули контролирани од овој софтвер во времето на презентацијата (види ја процедурата).

 

Children sat on their parent’s lap in front of a Tobii T6017-inch monitor in which a corneal-reflection eye-tracker is embedded (29). This device uses bright and dark pupil eye-tracking and collects data with a rate of 60 Hz and an accuracy of 0.5 degrees. Free head movement is allowed within a box of 44x22x30 cm and when one of the eyes is temporarily not traceable, data from the other eye are used. In case of losing track, time to recovery is typical 300 ms and blink tracking recovery is maximum 17 ms. Gaze data were collected running Tobii Studio softwareon a portable computer using the Tobii Fixation Filter setting the fixation radius on 35 pixels (30). Furthermore, Habit X version 1.0, habituation paradigm software (31) was used in combination with the eye-tracker using the external video capture media. According to this media, the stimuli presented by Habit X following the habituation paradigm were perceived as a movie with a sequence of stimuli controlled by this software in presentation time (see procedure).

 

 

 

Процедура

 

Procedure

 

 

 

Во двата експеримента беше применета иста процедура. Во првиот експеримент на новороденчињата им беше зададена хабитуациска задача со 4 vs. 8 (види слика 1). Во вториот експеримент беше зададена хабитуациска задача со 1 vs. 4 (види сликата 2).

 

The same procedure was applied to two experiments. In Experiment 1 infants were presented with the 4 vs. 8 habituation task (see Figure 1). In Experiment 2 this was the 1 vs. 4 habituation task (see Figure 2). 

 

   

Слика 1: Употребени стимули во истражувањето 1 /Figure 1. Stimuli used in study 1

 

Слика 2:Употребени стимули во истражувањето 2 / Figure 2. Stimuli used in study 2

 

 

 

 

 

 

На родителите им беа дадени инструкции да останат неутрални и во меѓувреме да не го привлекуваат вниманието на децата. За да се покаже прозорецот на погледот на детето, на почетокот на задачата беше направена калибрација на доенчето. Сукцесивно се појавува анимиран одвлекувач на вниманието (200 x 200 пиксели) на сите четири агли и на средината на екранот на трагачот на поглед. Испитувачот го набљудува погледот на доенчето преку преглед во живо (live viewer) на Tobii Studio, при што се покажуваат презентираните стимули со покажувачот на погледот во живо. Кога детето ќе погледне во привлекувачот на внимание, испитувачот се префрла на следната точка на калибрација со притискање на копчето. Само по успешна калибрација, потврдено од софтверот, започнува задачата со добро познат цртан лик. Секое наредно следење беше проследено со звук. Повторно, испитувачот го набљудуваше погледот на доенчето на преглед во живо. Дополнително, однесувањето при гледањето е обработено со хабитуацискиот софтвер Habit X 1.0 (30), со држење на копчето кога бебето гледа во стимулот и ослободување на копчето кога гледа настрана. Времето на гледање во стимулот од најмалку 0,5 секунди е валидно додека бебето погледнува настрана 2 секунди континуирано (или максимално 120 секунди). Во текот на хабитуацијата беа презентирани шест различни прикази со повторување по случаен ред, сѐ додека детето не го пресретне хабитуацискиот критериум (50% редукција во времето на гледање во текот на три последователни испитувања, во однос на првите три испитувања) или додека не се завршат 14 испитувања според стандардната процедура (3). Потоа како алтернација на доенчињата им беа презентирани шест тест-прикази за хабитуацискиот и новиот број точки (контрабалансирано со редот на учесниците).

 

Parents were instructed to remain neutral and not to elicit the child’s attention meanwhile. To indicate the infant’s window of looking infant-calibration was used at the beginning of the task. An animated attention grabber (200 x 200 pixels) appeared successively at the four corners and the middle of the eye-tracker screen. The experimenter observed the infants’ looking behaviour via the live viewer in Tobii Studio whichshows the presented stimuli with gaze overlay online. When the child looked at the attention grabber, the experimenter moved on to the next calibration point by key press. Only after a successful calibration, as confirmed by the software, the task began with a well-known cartoon-figure. Each following trial was introduced by a sound. Again, the experimenter observed the infants’ looking on the live viewer. In addition, looking behaviour was processed in the habituation software, Habit X 1.0 (30) by holding down a button when an infant was looking at the stimuli and releasing it when he/she looked away. A looking time at least 0, 5 sec at a stimuli was valid until the infant looked away for 2 sec continuously (or for a maximum of 120 sec). During habituation, six different displays were presented in repeating random order until the infant met the habituation criterion (a 50% reduction in looking time over three consecutive trials, relative to the first three trials) or until 14 trials were completed following the standard procedure (3). Afterwards, infants were presented with six test displays containing the habituated and new number of dots in alternation (counterbalanced for order across participants).

 

 

 

Анализа

 

Analysis

 

 

 

Времето на гледање беше дешифрирано по исклучувањето, во Tobii Studio, од податоците од трагачот на поглед од страна на двајца испитувачи што не се запознаени со (хабитуацискиот) условот. Подрачјата на интерес (Areas of interest [AOIs]) се направени мануелно со елипсовидна алатка околу секоја точка од низата (со маргини 2 cm), која го открива вкупното траење на фиксираниот поглед во рамките на подрачјата од интерес за сите точки во една низа. Беше извршена анализа на забележаното време. За седум бебиња, консензусот беше добар (r = 0.97; p < 0.001).  Сите анализи се фокусираа кон шемите за гледање што се употребуваа во фазата на тестирање, што е честа практика (10, 17, 18). Следејќи го Xu и сор. (15), излезните резултати (> 2 СД од просекот за секој услов) беа исклучени од анализа. Во согласност со Cordes and Brannon (12), ова време на гледање беше заменето со наред-ното најдолго време за сите доенчиња за секој услов. Соодветно, 7 и 12% од сите забележани времиња на гледање во првиот и вториот експеримент, беа заменети.  
Бидејќи времето на гледање беше искривено во експериментот за 1 vs. 4, времето на гледање беше трансформирано во логаритми1. Понатамошните анализи се изведоа врз основа на овие вредности.
За да се избегне губење на можноста за набљудувањето со еден или повеќе исходи (поради техничка грешка) со АНОВА, беше спроведена анализа на линеарни мешани модели за времето на гледање за да се провери дали времето на гледање во новиот број точки е подолго од времето на гледање во веќе постоечкиот број точки (бројот на точки на кој се навикнаа). Исто така беа испитани конзистентноста на ефектот во тестирање пар, хабитуациските услови и полот. За да се запази корелацијата меѓу повторените мерења на учесниците, беше спроведена неструктуирана варијанса-коваријанса.

 

Looking times were recoded offline in Tobii Studio from the eye-tracking data by two researchers blind to the (habituation) condition. Areas of interest (AOIs) were created manually with an ellipse-shaped tool around each dot per array (with margins of 2 cm), revealing total fixation duration within the AOIs for all dots in one array. These times were used for analysis. Inter-rater reliability on seven infants was good (r = 0.97; p < 0.001). All analyses focused on the looking patterns exhibited during the test phase, which is a common practice (10, 17, 18). Following Xu et al. (15) outlying scores (> 2 SD from the mean for each condition) were excluded from analysis. In accordance with Cordes and Brannon (12) these looking times were replaced with the next longest looking time for all infants in each condition. Accordingly, 7 and 12 % of all looking times in the first and second experiment were replaced.
Because looking time was skewed in the 1 vs. 4 experiment, looking times were transformed into logarithms . Further analyses were conducted on these values.
To avoid loss of observations with one or more missing outcomes (due to technical failure) with ANOVA, a linear mixed model analysis was conducted on the looking times to test whether looking time at the new number of dots was longer than looking time at the old number of dots (the number of dots they were habituated to). The consistency of the effect across trial pair, habituation condition and sex was also assessed. To capture the correlation between repeated measurements of a participant, an unstructured variance-covariance was assumed.

 

 

 

Резултати

 

Results

 

 

 

Експеримент 1: 4 vs. 8
На слика 3 е прикажан графикон на времето на гледање во стариот број (на којшто децата се навикнале) и нов број (претставен само во фазата на тестирање со стариот број) за трите пара во тестирањето.

 

Experiment 1: 4 vs. 8

Figure 3 shows the bar chart for looking time at old number (to which children were habituated to) and a new number (only presented in the test phase with the old number) for the three trial pairs.

 

 

 

 

 

 

Слика 3: Средно време на гледање за 4 versus 8

 

Figure 3. Mean looking time for 4 versus 8

 

 

 

Линеарниот мешан модел не покажа значајна разлика меѓу времето на гледање во стариот (M = 2.35, SD = 0.87) и новиот број (M = 2.04, SD = 0.85), F(1,24) = 2.31, p =.142. Недостатокот на ефект беше конзистентен низ паровите во процесот, хабитуациските услови и полот.  
Експеримент 2:1 vs. 4
На сликата 4 е прикажан графикон за времето на гледање во стариот и во новите броеви за сите три пара.

 

The linear mixed model revealed no significant difference between looking time at old (M = 2.35, SD = 0.87) and new numbers (M = 2.04, SD = 0.85), F(1,24) = 2.31, p =.142. The lack of effect was consistent across trial pair, habituation condition and sex.

Experiment 2: 1 vs. 4

Figure 4 shows the bar chart for the looking time at old and new numbers for the three pairs.

 

 

 

 

 

 

Слика 4: Средно време на гледање за 1 versus 4

 

Figure 4. Mean looking time for 1 versus 4

 

 

 

Линеарниот мешан модел покажа значајно подолго време на гледање во новите (M = 1.0825, SD = 0.53) споредено со старите (M = 0.80, SD = 0.43) броеви, F(1, 25) = 23.57, p = .000. Ефектот беше конзистентен низ трите пара, хабитуациските услови и полот.

 

The linear mixed model revealed a significant larger looking time at new (M = 1.0825, SD = 0.53) compared to old (M = 0.80, SD = 0.43) numbers, F(1, 25) = 23.57, p = .000. The effect was consistent across trial pairs, habituation condition and sex.

 

 

 

Дискусија

 

Discussion

 

 

 

Целта на нашето истражување беше да ги прошириме знаењата што се однесуваат на потеклото на атипичната обработка на броевите со додавање значајна евиденција за обработка на несимболичка нумеричка магнитуда кај новороденчиња користејќи мал и голем број точки во низи. Овие заклучоци даваат информации за стимулите што можат да се искористат за забележување на индивидуалните разлики и можеби дури и попрецизно да се лоцира содржината што треба да биде вклучена при специфична интервенција, со цел да се забрзаат вештините на детето за обработка на магнитуди кај деца со ризик да развијат MLD. Иако едно од прашањата што се потенцираат е дали обработката на мали или големи магнитуди во несимболички (точкест) формат е круцијална за успешни математички постигнувања, испитувачите демонстрираа дека бебињата се потпираат на два система за обработка на нумерички магнитуди. Изгледа дека тие го користат објектно-датотечниот систем за обработка на мали броеви (11, 23) и системот на аналогна магнитуда за големите броеви (9). Ова истражување имаше цел да ја испита границата меѓу опсегот на мали и големи броеви како што е сугерирана од поранешниот систем за прилагодување на лимитот на големината. Затоа, комбинацијата на броевите 1 vs. 4 and 4 vs. 8 повторно беше испитана со трагач на погледот како соодветна мерка за времето на гледање во текот на хабитуациската задача.
Експериментот 1 не ја поддржа претпоставката дека скоро 9-месечните бебиња ги разликуваат големите броеви во размер 1:2. Ова е спротивно од истражувањето на Xu и соработниците (15), коешто покажа дека 6-месечните доенчиња можат да разликуваат големи броеви во размер 1:2 (2, 15, 18). Сепак, треба да се спомне дека во ова истражување беше користен поинаков метод, поради што можеби и се добиени поинакви резултати. Прво, примерокот на испитаници во ова истражување беше поголем (N = 25) од претходното истражување (N = 16). Поради помалиот број во претходното истражување, можеби варијацијата на индивидуалните перформанси не била доволно голема. Исто така, по некоја случајност, во помали истражувања можеби биле вклучени предоминантни доенчиња што можат да разликуваат, додека во нашето истражување беа вклучени нивни врсници што не можат да разликуваат големи броеви. На крај и можеби најважно, во ова истражување беше употребен трагач на погледот за да се подобри точноста на мерењата на времето на гледање. Ваквата можност за регистрирање во живо (онлајн) каде гледа детето, овозможува снимање на однесувањето во текот на гледањето врз основа на погледот на доенчето, а не врз основа на правецот на лицето (10).
Експериментот 2 ги проширува заклучоците на Cordes и Brannon (12) со 6 и 9-месечни бебиња за разликување на една од четирите ставки. Во претходните истражувања (10), постулирано е дека е тешко да се комбинираат различни системи за презентирање броеви. Сепак, во согласност со хипотезата за прагот (12), минимална промена на прагот овозможува доенчињата да ја игнорираат презентацијата на нивните објектни датотеки и, наместо тоа, користат аналогни презентации за мали претставувања. Останатите комбинации од мешани броеви се и понатаму тешки, на пример 2 vs. 4 поради помалиот размер (10).
Заедно со резултатите од првиот експеримент, може да се постави хипотеза дека четири е „мал“ број, а не „голем“. Според ова, 4 vs. 8, од друга страна, станува мал наспроти голем број, којшто е тежок за разликување бидејќи размерот е многу мал според хипотезата за прагот. Комбинацијата 1 vs. 4, од друга страна, претставува целосно компарација на мали броеви, коишто се полесни за разликување зашто треба да се активира само објектната датотека. Како последица, овие резултати се чини дека поддржуваа повисок лимит на големината (имено четири) на објектно-датотечниот систем за доенчињата. Затоа, само ако може да се претстави на прецизно точен начин дека доенчињата се исто така способни соодветно да разликуваат две или три од четири ставки, лимитот на објектно-датотечниот систем може да биде поставен на четири. Ова ќе треба да го расчистат понатамошните истражувања, а и да го подобрат разбирањето за тоа како ги разликуваат броевите. Моќните анализи и калкулациите со големината на примерокот можат да индицираат обработка на несимболички нумерички магнитуди со несимболички задачи и индивидуални разлики во постигнувањата. Уште повеќе, се чини дека е неопходно да се користат трагачот на поглед и VCR-методот за да се добие резултат за времетраењето на погледот, за да се разјасни дали спротивните резултати од истражувањето 1 и пора-нешната работа се должат на попрецизни мерења, на други „ситни“ методолошки разлики или случајно.
Заклучоците од ова и од понатамошните истражувања можат да бидат корисни при давање одговор на родителите, за антиципирање во предизвиците што ги носат предвреме родените бебиња или близнаците со дете со MLD, соочени со предизвикот и самите да развијат MLD. Знаењето дека вниманието и спонтаното фокусирање на информации на несимболички нумерички магнитуди можат да се тестираат кај доенчињата, може да помогне во препознавањето на ранливите доенчиња. Дополнително, иако се потребни лонгитудинални истражувања за испитување на поврзаноста меѓу обработката на магнитуди и математичките постигнувања кај многу мали но ранливи деца, тие се ветувачка образовна интервенција што покажува значајни ефекти за раните математички операции кај децата со ризик за MLD (34, 35). Затоа, родителите можат да се советуваат да ја стимулираат обработката на нумеричката магнитуда преку игри, обидувајќи се да ги заштитат децата со ризик од понатамошно продлабочување на ризикот, а можеби дури и подоцнежен развој на MLD.

 

The overall aim of this study was to extend our knowledge regarding the origin of atypical number processing by adding a substantial amount of evidence on the non-symbolic numerical magnitude processing in infants using a small and large number of dot arrays. These findings give some information on the stimuli that can be used to look at individual differences and perhaps even pinpoint more precisely the content that should be included in specific interventions aiming to foster children’s magnitude processing skills in children at risk to develop MLD. Although one of the outstanding questions is whether processing small or larger magnitudes in non-symbolic (dots) formats is crucial for successful mathematics achievement, research has demonstrated that infants rely on two systems to process numerical magnitudes. They seem to use an object-file system to process small numbers (11, 23) and an analogue magnitude system to deal with large numbers (9). The current study aimed to explore the boundary between small and large number range as suggested by the set size limit of the former system. Therefore, the number combinations 1 vs. 4 and 4 vs. 8 were explored again using eye-tracking as an accurate measure of looking times during an habituation task.
Experiment 1 did not support the assumption that almost 9-month-olds discriminate large numbers in a 1:2 ratio. This in contrast with the study of Xu and colleagues (15) which showed with the same number combination that 6-months-old infantscan discriminate large numbers in a 1:2 ratio (2, 15, 18). It should be mentioned, however, that the method in this study was different which may have led to the different result. First, the current sample of infants was larger (N = 25) than in the previous study (N = 16). Because of the smaller sample in the earlier study it might be possible that the variation of individual performances was not large enough. It might also be that, by chance, predominantly infants who could discriminate were included in the smaller studies, whereas, also, in our study were included their peers who did not discriminate between large numbers. At last and probably more important, eye-tracking was used to enhance the accuracy of the looking time measures in the current study. This online-registration of where the child looked, enabled recording looking behaviour on grounds of the infant’s gaze instead of the direction of the face (10).
Experiment 2 extends the finding of Cordes and Brannon (12) with 6-month-olds to 9-month-olds in discriminating one from four items. In earlier studies (10), it was postulated that it was difficult to combine the different systems for presenting numbers. However, according to the threshold hypothesis (12), a minimum threshold of change enables infants to ignore their object file representations and use analogue representations for small sets instead. Other mixed number combinations, for example 2 vs. 4, remain difficult because of the smaller ratio (10).
Together with the results of Experiment 1 it might be hypothesized that four is a ‘small’ number instead of a ‘large’ one. Following this account, 4 vs. 8, on the one hand, becomes a small versus large number set which is difficult to discriminate because the ratio is too small according to the threshold hypothesis. The combination 1 vs 4, on the other hand, becomes an entirely small number comparison which is easier to discriminate because only object-files need to be activated. As a consequence, these results seem to support a higher set size limit (namely four) of the object- file system in infants. Though, only if it can be demonstrated in the current precise way that infants are also able to discriminate respectively two and three items from four items the limit of the object-file system can be set on four. Further exploration of these number combinations should clear this out and enhance the understanding of how number discrimination works in infants. Power analyses and sample size calculations might be indicated to tap into non-symbolic numerical magnitude processing using non-symbolic tasks and individual differences in achievement. Moreover research using both eye-tracking and the VCR method to score the gaze duration seems necessary to unravel whether the discrepant results between study 1 and earlier work are due to a more precise measurement, other ‘minor’ methodological differences, or chance.
Findings from these and future studies may be useful in answering parent’s questions, anticipating challenges that preterm born children or siblings of children with MLD, at risk to develop MLD themselves (33), might encounter. The knowledge that the attention and spontaneous focusing on non-symbolic numerical magnitude information can be tested in infants might help to recognise vulnerable infants. In addition, although longitudinal studies are necessary to investigate the association between magnitude processing and mathematical achievement in very young but vulnerable children, there are promising educational interventions showing significant effects on early numeracy in children at-risk for MLD (34,35). Therefore, parents can be advised to stimulate the numerical magnitude processing by engaging in games attempting to prevent children at-risk from falling further behind and perhaps even from developing MLD later on.

 

 

 

Конфликт на интереси

Авторите изјавуваат дека немаат конфликт на интереси.

 

Conflict of interests

Authors have no conflict of interests.

 

 

 


Citation: Ceulemans A, Loeys T, Hoppenbrouwers K, Desoete A. To be or not to be: an Informative Non-Symbolic Numerical Magnitude Processing Study about Small Versus Large Numbers in Infants. J Spec Educ Rehab 2014; 15(1-2):75-90. doi: 10.2478/JSER-2014-0005

 

   

Article Level Metrics

 
   

Литература/ References

 

  1. Barbaresi WJ, Katusic SK, Colligan RC, Weaver AL, Jacobsen, SJ. Learning disorder: Incidence in a population-based birth cohort, 1976-82, Rochester, Minn. Ambulatory Pediatrics 2005; 5(5):281-289.
  2. American Psychiatric Association (APA). Diagnostic and statistical manual of mental disorders (5th ed.). 2013; Arlington, VA: American Psychiatric Publishing
  3. Noël MP, Rousselle L. Developmental changes in the profiles of dyscalculia: an explanation based on a double exact-and-approximate number representation model. Frontiers in Human Neuroscience 2011; 5.
  4. Butterworth B, Varma S., Laurillard D. Dyscalculia: From Brain to Education. Science 2011; 332:1049-1053.
  5. Schleifer P, Landerl K. Subitzing and counting in typical and atypical development. Developmental science 2011; 14:280-291.
  6. Rousselle L, Noël MP. Basic numerical skills in children with mathematics learning disabilities: A Comparison of symbolic vs non-symbolic number magnitude processing. Cognition 2007; 102:361-395.
  7. Ceulemans A, Titeca D, Loeys T, Hoppenbrouwers K, Rousseau S, & Desoete A Enumeration of small and large numerosities in adolescents with mathematical learning disorders. Research in Developmental Disabilities 2013; in press.
  8. Cantrell L, Smith BS. Open questions and a proposal: A critical review of the evidence on infant numerical abilities. Cognition 2013;128:331-352
  9. Feigenson L, Dehaene S, Spelke E. Core systems of number. Trends in Cognitive Sciences 2004; 8(7):307-314.
  10. Xu F. Numerosity discrimination in infants: Evidence for two systems of Representations. Cognition 2003; 89(1):B15-B25.
  11. Leslie AM, Xu F, Tremoulet P, Scholl, BJ. Indexing and the object concept: Developing “what” and “where” systems. Trends in Cognitive Sciences 1998; 2(1):10-18.
  12. Cordes S, Brannon EM. Crossing the divide: Infants discriminate small from large numerosities. Developmental Psychology 2009; 45(6):1583-1594.
  13. Kahneman D, Treisman, A. Changing views of attention and automaticity. In: Parasuraman R., Davies DR, editors. Varieties of attention. Academic Press, 1984; p. 29-61.
  14. Brannon EM, Abbott S, Lutz DJ. Number bias for the discrimination of large visual sets in infancy. Cognition 2004; 93(2):B59-568.
  15. Xu F, Spelke ES, Goddard S. Number sense in human infants. Developmental Science 2005; 8(1):88-101.
  16. Cordes S, Brannon EM. The relative salience of discrete and continuous quantity in young infants. Developmental Science 2009; 12(3):453-463.
  17. Xu F, Arriaga RI. Number discrimination in 10-month-old infants. British Journal of Developmental Psychology 2007; 25(1):103-108.
  18. Xu F, Spelke ES. Large number discrimination in 6-month-old infants. Cognition 2000; 74(1):B1-B11.
 
  1. Wood JN, Spelke ES. Chronometric studies of numerical cognition in five-month-old infants. Cognition 2005; 97(1):23-29.
  2. Cordes S, Brannon EM. The difficulties of representing continuous extent in infancy: Using number is just easier. Child Development 2008; 79(2):476-489.
  3. Lipton JS, Spelke ES. Origins of number sense: Large-number discrimination in human infants. Psychological Science 2003; 14(5):396-401.
  4. Ceulemans A, Desoete A, Loeys T, Warreyn P, Hoppenbrouwers K, Rousseau S. Small number discrimination in early human development: the case of one versus three. Education Research International 2012; ID 964052.
  5. Kahneman D, Treisman A, Gibbs BJ. The reviewing of object files: Object specific integration of information. Cognitive Psychology 1992; 24(2):174-219.
  6. Trick L, Pylyshyn, Z. Why are small and large numbers enumerated differently? A limited capacity preattentive stage in vision. Psychological Review 1994; 101(1):80-102.
  7. Franklin A, Pitchford N, Hart L, Davies IRL, Clausse S, Jennings S. Salience of primary and secondary colours in infancy. British Journal of Developmental Psychology 2008; 26(4):471-483.
  8. Maier MA, Barchfield P, Elliot AJ, Pekrun R. Context specificity of implicit preferences: The case of human preference for red. American Psychological Association 2009; 9(5):734-738.
  9. Zemach IK, Teller DY. Infant color vision: Infants’ spontaneous color preferences are well behaved. Vision Research 2007; 47(10):1362-1367.
  10. Dehaene S, Izard V, Piazza, M. Control over non-numerical parameters in numerosity experiments 2005; unpublished manuscript; Availble from URL: http://www.unicog.org
  11. Tobii T60 & T120 Eye Tracker User Manual, Tobii Technology AB; 2011.
  12. Tobii Studio 1.2 User Manual, Tobii Technology AB; 2008.
  13. Cohen LB, Atkinson DJ, Chaput HH. A new program for obtaining and organizing data in infant perception and cognition studies (Version 1.0). Texas: University of Texas; 2004.
  14. Field A. Discovering statistics using SPSS. 3rd ed. London: Sage Publications; 2009.
  15. Praet M, Titeca D, Ceulemans D, Desoete A. Number sense in siblings of children with mathematical learning disabilities: A longitudinal study. Journal of Intellectual Disability – Diagnosis and Treatment 2013; 1:67-73.
  16. Whyte JC, Bull R. Number games, magnitude representation, and basis number skills in pre-schoolers. Developmental Psychology 2008; 44:588-96.
  17. Toll S, Van Luit JEH. Accelerating the early numeracy of kindergartners with limited working memory skills through remedial education. Research in Developmental Disabilities 2013; 34:745-755.

Секое време на гледање беше зголемено за еден за да се избегне неможноста за набљудување на времето на гледање еднакво на нула кога ќе се трансформира во логаритам [25] / All looking times were increased with one to avoid loss of observations with looking time equal to zero when taking the log-transform [25].

Share

Follow Us



FacebookTwitterLinkedinWikiBlogger

Share Us

MySpaceTwitterStumbleuponGoogle BookmarksRedditLinkedInMixxRSS FeedPinterest
 

Journal metrics

Publish with JSER

Indexed in