ИСТРАЖУВАЊЕ НА СТРУКТУРАТА НА ФАКТОРИТЕ ПРИ ПРОЦЕНА НА ЕМОТИВНО-СОЦИЈАЛНИOT СКРИНИНГ ВО РАНИOT ДЕТСКИ РАЗВОЈ

Чи-Ју ЧЕН¹
Алберто ФИЛГУЕИРАС²
Џејн СКВАЈРЕС³
Хесус ЛАНДЕИРА-ФЕРНАНДЕЗ⁴

¹ Универзитет во Орегон, САД
² Државен Универзитет во Рио Де Жанеиро, Бразил
³ Универзитет во Орегон, САД
⁴ Понтификален католички универзитет на Рио Де Жанеиро, Бразил

EXAMINING THE FACTOR STRUCTURE OF AN EARLY CHILDHOOD SOCIAL EMOTIONAL SCREENING ASSESSMENT

Chieh-Yu CHEN¹
Alberto FILGUEIRAS²
Jane SQUIRES³
Jesus LANDEIRA-FERNANDEZ⁴

¹ University of Oregon, USA
² Rio de Janeiro State University, Brasil
³ University of Oregon, USA
⁴ Pontifical Catholic University of Rio de Janeiro, Brasil

Примено: 04.05.2016
Прифатено: 25.07.2016

Recived: 04.05.2016
Accepted: 25.07.2016
Original Article

Вовед

Фреквентноста на социјално-емоционалните проблеми/проблемите во однесувањето кај мали деца се зголемува, со доминација на менталните здравствени проблеми од 10% - 25% (1, 2). Социјално-емоционалните проблеми се многу отпорни на промени и кај истите постои голема веројатност за долгорочни влијанија, доколку не се препознаат и лекуваат навреме (3–7). Социјално-емоционалната компетенција е од клучно значење за да може детето да се смета дека е подготвено за во училиште, што е основа за способноста за учење што ја создава основата за понатамошните академски успеси (8–10). Оттаму, раното препознавање на социјално-емоционалните проблеми е многу значајно, бидејќи раната интервенција би можела да го промовира долгорочниот успех на детето во училиштето и на работното место, како и да ги намали трошоците за ремедијални услуги (11). За таа цел се препорачува користење на високо квалитетни алатки за процена при спроведување на периодични развојни скрининзи (12, 13).

Валидноста е најосновната информација во развојот и евалуацијата на тестовите, којашто се однесува на степенот во кој доказите и теоријата ги поддржуваат објаснувањата на резултатите од тестовите (14). Еден од основните стандарди за евалуација на валидноста на тестот е да се обезбедат докази за внатрешната структура (14, 15), односно валидност на внатрешната структура. Валидноста на надворешната структура проценува колку добро тестот може да прави разлика помеѓу целните групи и типичното население врз основа на неговата теорија, додека пак внатрешната структура обезбедува информации за теоретската структура и концептуална димензионалност на една мерка (на пр., математички доказ за факторијалната структура).

Прашалниците за возраст и фази: Социјално-емоционални ASQ:SE (17) се низа од скрининг прашалници што родители ги пополниле за своите деца (на возраст од 3–66 месеци), дизајнирани да идентификуваат потенцијални социјално-емоционални задоцнувања кои би се појавиле. ASQ:SE ги изнудува опсервациите на родителите во однос на социјално-емоционалните сили и слабости на нивните деца. ASQ:SE се препорачува бидејќи има адекватни психометрички карактеристики и голема корист при употреба во педијатриски ординации и други средини за мали деца во ран детски развој (18–21). Програмите Head Start ( Предност) во САД го користат за процена на социјално-емционалните потреби (22, 23). Исто така, ASQ:SE е преведен на неколку јазици и се користи и надвор од САД (24–26). И покрај широката примена оваа последна деценија, студиите за валидност на ASQ: SE претежно се фокусираа на валидноста на надворешната структура (17, 25–30), со релативно помалку психометрички докази за неговата основна структура (31).

Со цел мерење на социјално-емоционалната компетентност, алатката за процена треба да земе предвид важни елементи на однесување во социјално-емоционалниот развој на детето. Социјалната компетенција може да се дефинира како способност за развој на соодветни социјални интеракции со други луѓе (32). Репрезентацијата на однесување на социјална компетенција вклучува интерес за други луѓе, внимание, започнување контакт со луѓе, играње со/покрај пријатели, учество во групна игра и започнување на конкретни пријателства со врсници. Емоционалната компетенција може да се смета за комплицирана способност за свесност за своите и туѓите емоции, да се преговара во меѓучовечки контакти, да се контролираат и регулираат емоциите (33). Децата коишто немаат социјално-емоционална компетенција може да искусат потешкотии при социјалните интеракции и да имаат проблематично однесување (34).

Социјално-емоционалната компетенција често се смета за мултидимензионална структура, одразена во различни структури на постоечки инструменти (35–37). Дизајнот на ASQ:SE не укажува на нејзините основни структури со примена на потскали или домени во рамките на самиот тест. Наместо тоа, концептуалната рамка утврди дека социјалната и емоционалната компетенција се високо поврзани, но претставуваат различни развојни вештини и процес на однесување (17). Целта на оваа студија беше да се испита конзистентноста помеѓу теоријата и математичката факторна структура на ASQ:SE, со цел да се истражи валидноста на внатрешната структура на сите осум ASQ:SE интервали.

Introduction

The incidence of social-emotional problems/ emotional-behavioral problems in young children is increasing with a prevalence of mental health problems in young children estimated from 10% - 25% (1, 2). Social-emotional problems are highly resistant to change and likely to have long-term effects if they are not recognized and treated early on (3–7). Social-emotional competence is essential for school readiness, which is the foundation of early learning skills that forms the basis for later academic performance (8–10). Therefore, early identification of social-emotional problems is critical as early intervention services may promote children's long-term success in school and the work place as well as reduce the expenditures for remedial services (11). Using high quality assessment tools to conduct periodic developmental screening is recommended for this purpose (12, 13).

Validity is the most elemental consideration in the development and evaluation of tests, which refers to the degree regarding how evidence and theory support the explanation of test scores (14). One of the essential standards for evaluate validity of a test is to provide the evidence regarding the internal structure (14, 15), also called internal construct validity. External construct validity evaluates how well the test can distinguish the target groups from the typical population based on its theory, while internal construct validity provides information regarding a measure’s theoretical structure and conceptual dimensionality (16) (e.g., mathematical evidence of the factorial structure).

The Ages & Stages Questionnaires: Social-Emotional (ASQ:SE) (17) is a series of parent completed screening questionnaires for 3-to-66 month old children, designed to identify potential social-emotional delays as soon as they occur. The ASQ:SE elicits parents’ observations regarding their child’s social-emotional strengths and concerns. The ASQ:SE has been recommended as having adequate psychometric properties and high utility for use in pediatric practices and other early childhood settings (18–21). Head Start programs across the United States (U.S.) are using ASQ:SE to assess social-emotional needs (22, 23). Furthermore, the ASQ:SE has been translated in several languages and is used extensively outside the U.S. (24–26). Despite its wide spread use over the last decade, validity studies of ASQ:SE mainly focused on the external construct validity (17, 25–30), with relatively less psychometric evidence informing its underlying construct (31).

For the purpose of measuring social-emotional competence, an assessment tool should cover important behavioral performances in child social-emotional development. Social competence can be defined as the ability to develop appropriate social interactions with people (32). Representing behaviors of social competence include having interest in people, displaying attention, initiating contact with people, playing with/alongside friends, participating in playing within a group, and beginning of specific friendships with peers. Emotional competence can be considered as a complicated ability to realize self and others’ emotion, to negotiate interpersonal exchanges, to control and regulate emotions (33). Children who are deficient in social-emotional competence may experience difficulties in social interactions and have problem behaviors (34).

Social-emotional competence is often hypothesized as a multidimensional construct, reflected in the diverse structures of existing instruments (35–37). The design of the ASQ:SE did not indicate its underlying constructs by applying subscales or domains within the test. Instead, the conceptual framework posited that social competence and emotional competence are highly related but represent different developmental abilities and behavioral process (17). The aim of this study was to examine the consistency between the theory and the mathematical factorial structure of the ASQ:SE in order to investigate the internal construct validity of the eight ASQ:SE intervals.

Методи

Methods

Учесници

Вкупно 13,718 парови деца/родители учествуваа во ова истражување, завршувајќи еден ASQ:SE-прашалник низ сите осум тест-интервали (т.е. 6-, 12-, 18-, 24-, 30-, 36-, 48- и 60-месечен). Прашалниците во кои недостасуваа одговори не беа земени предвид во оваа студија. Родителите беа дефинирани како родители, роднини и други старатели кои поминуваат повеќе од 20 часа неделно со детето. Регрутирањето беше стратешки спроведено да одговара на податоците од пописот од 2010 во САД за варијаблите како расата/етничкото потекло, нивото на образование на мајката и семејните приходи (38, 39). Материјалите за регрутирање вклучуваа онлајн публикации и билтени со совети за родителите. Примерокот беше собран помеѓу 2010 и 2014 во САД. Демографските карактеристики се претставени во табела 1.

Participants

A total of 13,718 child/parent dyads participated in the present research, completing one ASQ:SE questionnaire across the eight test intervals (i.e., 6-, 12-, 18-, 24-, 30-, 36-, 48-, and 60-month). Questionnaires with missing response were excluded from the current study. Parents were defined as parents, relatives, and other caregivers spending more than 20 hours per week with the child. Recruitment was strategically conducted to match the U.S. 2010 census data on variables including race/ethnicity, mother’s education level, and family income (38, 39). Recruitment materials included notices in online publications and parenting newsletters. The sample was collected between 2010 and 2014 in the U.S. The demographic characteristics are presented in Table 1.

Табела 1.Демографски карактеристики на учесниците, децата и семејствата (N = 13,178)

Table 1.Demographic characteristics of the participating children and families (N = 13,178)

Мерки

ASQ:SE претставува скрининг инструмент за детекција на социјално-емоционалните проблеми за време на првите 6 години од животот, и вклучува серија од осум интервали, секој од нив за специфична возрасна група (т.е. 6-, 12-, 18-, 24-, 30-, 36-, 48- и 60-месечен интервал) со вкупен резултат од 18 точки за 6-месечниот интервал до 32 точки за 48- и 60-месечниот интервал. Потребното време на еден родител да го пополни прашалникот е 15 минути. Точките прашуваат за социјално-емоционалните вештини на детето, како на пример: „Може ли вашето дете самото да се смири по некоја возбудлива акти вност?“ Содржани се три можни одговори: „често или секогаш“, „понекогаш“ и „ретко или никогаш“. Одговорите добиваат нумерички вредности што ја одразуваат компетенцијата (0) или проблемите во однесувањето (5 или 10 поени). Отворените прашања на ASQ:SE, како „Дали имате проблеми со однесувањето на вашето дете при јадење, спие ње или одење во тоалет? Ако да, ве молиме појаснете“ не беа вклучени во оваа анализа.

Корисничкото упатство на ASQ:SE наведува психометрички докази вклучувајќи веродостојност на внатрешната конзистентност, веродстојност на тест-ретестирањето, истовремената валидност и процесот на одлучување на конечните резултати (17). Конкретно, внатрешната конзистентност беше прикажана со примена на Кронбаховиот алфа-коефициент за осум интервали со опсег од 0,67 до 0,91; тестираната класификација (т.е. резултати над или под долната граница) за 367 деца беше 94% (N=344/367); истовремената валидност беше испитана со примена на контролна листа за однесување на детето (40, 41) и со Социјално-емоционално рано детство на Вајнленд (42) на 1,041 деца, постигнувајќи резултат од 87,8% до 94%. Овие наоди се конзистентни со насоките предложени во Стандардите за тестирање во образовните и психолошките институции (14) за техничка адекватност на скринингот, како и во Шеснаесет ментални мерки (43) и основните точки од Упатството на САД за човековото здравје (21, 44–46).

Анализа на податоците

Оваа студија ја испита факторната структура на сите осум возрасни интервали на ASQ:SE со примена на постапка за валидација (анализи на прелиминарен и потврден фактор). Секоја од возрасните групи беше произволно поделена во два примероци, деривација и репликација (на пример, 36-месечен интервал, N = 1,816; деривација = 908, репликација = 908). Анализата на прелиминарниот фактор (EFA) беше најпрвин спроведена на примерок деривација со цел да се оценат три карактеристики на секој возрасен интервал: (а) број на фактори кои треба да се чуваат; (б) факторни структури; и (в) вчитување на точки на факторите. За да се задржат повеќе фактори, три методи се користат со максимална веројатност како постапката за процена: паралелна анализа (47), парцијален тест на минимум просек (48) и методата на Hull (49). Факторот ротација беше извршен со користење на пондерирана посредна ротација, со оглед на тоа дека социјално-емоционалните фактори се претпоставува дека имаат висока корелација и сложеност (50). Втора EFA беше спроведена кај секој возрасен интервал со цел да се истражи вчитувањето на точките со ограничување на број на фактори врз основа на резултатите од претходната ЕФА, што предложи број на фактори кои треба да бидат зачувани. EFA беа спроведни со помош на Фактори 9,3, софтвер што посебно се фокусира на анализа на факторите (51). Врз основа на вчитуваните точки и теоријата за социјално-емоционална компетентност (17), беа изградени модели за сите осум ASQ:SE интервали.

Потоа, анализата на потврдниот фактор (CFA) беше спроведена на секој од осумте примероци на репликација со цел проверка на факторната структура. CFA ја испитуваат адекватноста на моделот изграден врз основа на резултатот од ЕФА и на теоријата за податоците. Два типа на индексите беа применети да обезбедат информации за адекватноста на моделот: (а) индекси за апсолутна адекватност вклучувајќи Хи-квадрат, индекс на адекватност (GFI), индекс на прилагодена адекватност (AGFI), и (б) индекси за компаративна адекватност, вклучувајќи го критериумот за информации на Акаике (AIC) (52) и индекс на очекувана валидност (ECVI) (53).

Индексите за апсолутна адекватност се користат за да се процени дали моделот има целокупно прифатлива адекватност кон податоците. Една мала хи-вредност на квадрат и незначајна p-вредност (p> 0,05) укажува на добра адекватност на моделот. Критериуми на други индекси вклучуваат: GFI ≥ 0,90, ≥ AGFI 0,80 (54, 55), SRMR < 0,08 (56, 57), RMSEA < 0,08 (57, 58). За индексите за компаративна адекватност во споредба со вгнездените модели, моделот со пониски AIC и ECVI укажува на подобра адекватност. Во оваа студија, сите параметри на моделот беа проценети со користење на AMOS (59).

Measurement

The ASQ:SE is a screening instrument for detecting social-emotional problems during the first 6 years of life, and includes a series of eight intervals, each targeting a specific age range (i.e., 6-, 12-, 18-, 24-, 30-, 36-, 48-, and 60-month) with total scored items ranging from 18 at 6-month interval to 32 items at 48- and 60-month interval, requiring up to 15 minutes for a parent to complete. Items ask about a child’s social-emotional performance such as, “ Can your child settle himself down after periods of exciting activity?” Three response options are included (i.e., “Often or Always,” “Sometimes,” or “Rarely or Never”). Answers receive numeric values reflecting competence (0 points) or problem behaviors (5 or 10 points). The open-ended questions of the ASQ:SE (e.g., “Do you have concerns about your child’s eating and sleeping behaviors or about her toilet training? If so, please explain” ) were not included in the present analyses.

The ASQ:SE Users’ Guide reported psychometric evidences including internal consistency reliability, test-retest reliability, concurrent validity, and the process of deciding cut scores (17). Specifically, internal consistency was reported using Cronbach’s coefficient alpha for eight intervals ranging from 0.67 to 0.91; test-retest agreement of classification (i.e., scores above or below cutoff) for 367 children was 94% (N = 344/367); concurrent validity was examined using Child Behavior Checklist (40, 41) and Vineland Social-Emotional Early Childhood (42) on 1,041 children, yielding percent agreement ranging from 87.8% to 94.0%, sensitivity ranging from 70.8% to 84.6%, specificity ranging from 87.8% to 94.0% (17). These findings are consistent with guidelines suggested in the Standards for Educational and Psychological Testing (14) for technical adequacy of screening test as well as the Sixteenth Mental Measurements Yearbook (43) and U.S. Health and Human Services guidelines (21, 44–46).

Data Analysis

This study examined the factor structure on the eight age intervals of the ASQ:SE using a cross-validation procedure (exploratory and confirmatory analyses). Each of the age groups was randomly divided into two samples, a derivation and replication sample (e.g., 36-month interval, N = 1,816; derivation sample = 908, replication sample = 908). Exploratory factor analysis (EFA) was first conducted on the derivation sample to evaluate three characteristics of each age interval: (a) number of factors that should be retained; (b) factorial structures; and (c) item loading on factors. To retain the number of factors, three methods were used with maximum likelihood as the estimation procedure: Parallel Analysis (47), Minimum Average Partial test (48) and Hull method (49). Factor rotation was performed using the weighted oblimin-rotation, since social-emotional factors were hypothesized having a high correlation and complexity (50). A second EFA was conducted with each age interval to explore the item loading by limiting number of factors based on the previous EFA results that suggested the number of factors that should be retained. The EFAs were performed using Factors 9.3, software specifically focusing on factor analysis (51). Based on the item loading and the theory of social-emotional competence (17), models were built for each of the eight ASQ:SE intervals.

Subsequently, confirmatory factor analysis (CFA) was conducted on each of the eight replication samples to cross-validate the factorial structure. The CFAs examined the goodness-of-fit of the model built based on the EFA result and theory to the data. Two types of indices were employed to provide the information of the model fit, (a) absolute fit indices including Chi-square, goodness-of-fit index (GFI), adjusted goodness-of-fit index (AGFI), standardized root mean square residual (SRMR), and the root mean square error of approximation (RMSEA), and (b) comparative fit indices, including Akaike’s information criterion (AIC) (52) and the expected cross-validation index (ECVI) (53).

Absolute fit indices are used to evaluate if a model has an overall acceptable fit to the data. A small chi-square value and a non-significant p-value (p > 0.05) indicate a good model fit. Criteria of other indices include: GFI ≥ .90, AGFI ≥ 0.80 (54, 55), SRMR < 0.08 (56, 57), RMSEA < 0.08 (57, 58). For comparative fit indices comparing nested models, the model with lower AIC and ECVI indicates a better fit. In this study, all parameters of the model were estimated using AMOS (59).

Резултати

Results

Анализа на прелиминарни фактори

Според резултатите од ЕФА, беа предложени еднофакторни и двофакторни структурни модели зависно од возраста и методите. Поточно, Паралелната анализа предложи двофакторна структура за сите осум интервали; Парцијалниот тест на минимум просек предложи еднофакторна структура ASQ:SE за 6-, 12- и 18-месечниот, а двофакторната структура за сите останати интервали; Хал-методата предложи еднофакторна структура на ASQ:SE за 18-, 30- 36-, 48- и 60-месечниот, а двофакторната структура за останатите интервали.

Модел на двофакторна структура

Како резултат на несовпаѓање меѓу овие методи за тестирање, беше создаден двофакторен модел за секој интервал за споредба со еднофакторниот модел (т.е., вклучени се сите ставки). Со цел да се создаде двофакторен модел, EFA беше повторно спроведена за секој интервал со ограничување на бројот на фактори до два за да се добие вчитување на фактор. Факторите и теоретската рамка што се наоѓаат во основата на социјално-емоционалната компетентност на децата, беа земени предвид при доделување на некоја ставка во конкретниот фактор.

Некои ASQ:SE-ставки се исти или слични во различни интервали на тестирање (на пример, „Дали вашето дете може да се зани мава со активностите што ги сака најмалку 3/5/10/15 минути?“ се појавува на 30-, 36-, 48- и 60-месечниот интервал). Овие елементи се очекува да се категоризираат во ист фактор. Затоа, целта на овие ставки преземени од повеќе интервали е пресметана за донесување на одлука при сместување на даден фактор. На пример, „ Дали вашето дете намерно уништува или оштетува предмети? се појави во четири интервали (на пример, 30-, 36-, 48- и 60-месечниот). Нејзините вчитувања на Фактор 1 беа: 0,53, 0,56, 0,57 и 0,59 (М = 0,56); вчитувањето на Фактор 2 беше: 0,13, 0,10, 0,07 и 0,07 (М=0,10). Ставките беа категоризирани на специфичниот фактор со повисока средина на вчитување фактори.

Исто така, врз основа на содржината на ставките во овие два фактори, авторите ги обележаа овие фактори како Социјалност и Емоции. Овој предложен двофакторен структурен модел беше оценет од страна на двајца психолози кои независно го потврдија пласирањето на овие ставки и целокупната ознака на факторите. Вкупно 83% (173 од 211) од ставките беа договорени од двајцата психолози. Несогласувањата околу дадени ставки беа дискутирани и прераспределени. На пример, „Дали вие и вашето дете практикувате да јадете заедно?“ бил прераспореден во Социјалност. На крајот, еден од создавачите на ASQ:SE беше консултиран за да го евалуира тековното мапирање на ставките. Конечната верзија на мапирање на ставките може да се види во табела 2. Табела 3 дава пример за вчитување на ставки во двата фактора за 6-месечниот интервал. (Дополнителни информации за резултатите и за други интервали може да се побараат од првиот автор.)

Exploratory Factor Analysis

According to the EFA results, one-factor and two-factor structure models were suggested to be retained depending on the age intervals and methods. Specifically, Parallel Analysis suggested a two-factor structure for all eight intervals; Minimum Average Partial test suggested a one-factor structure for 6-, 12-, and 18-month ASQ:SE, while a two-factor structure for the remaining intervals; Hull method suggested a one-factor structure for 18-, 30- 36-, 48-, and 60-month ASQ:SE, while a two-factor structure for the remaining intervals.

Two-factor Structure Model

As a result of discrepancy found among these test methods, a two-factor model was constructed for each interval to compare with the one-factor model (i.e., included all items). To construct a two-factor model, EFA was conducted again for each interval by limiting number of factors to two to obtain the factor loading. Factor loadings and the theoretical framework underlying young children’s social-emotional competence were considered when assigning an item to a specific factor.

Some ASQ:SE items are the same or similar across different testing intervals (e.g., “ Can your child stay with activities he enjoys for at least 3/5/10/15 minutes?” appears on 30m, 36m, 48m, 60m). These items were expected to be categorized in the same factor. Therefore, the mean of these cross-interval items was calculated for making a decision on factor placement. For example, “Does your child destroy or damage things on purpose?” appeared on four intervals (i.e., 30m, 36m, 48m and 60m). Its loading on Factor 1 was: 0.53, 0.56, 0.57, and 0.59 (M = 0.56); the loading on Factor 2 was: 0.13, 0.10, 0.07, and 0.07 (M = 0.10). Items were categorized to the specific factor with higher mean of the factor loadings.

Furthermore, based on the content of items in these two factors, authors labeled these factors as Sociality and Emotion. This proposed two-factor structure model was then evaluated by two psychologists who independently verified the placing of these items and overall factor labeling. A total of 83% (173 out of 211) items were agreed upon by both psychologists. Disagreements on items were then discussed and reassigned. For example, “Do you and your child enjoy mealtimes together?” was reassigned to Sociality. Finally, one of the ASQ:SE developers was consulted to evaluate the current mapping of items. The final version of item mapping can be seen in Table 2. Table 3 provides an example of item loading on the two factors in the 6-month interval. (Additional information regarding the results for other intervals can be requested from the first author.)

Табела 2.Предложена двофакторна структура и ставките од ASQ :SE интервал на возраст

Table 2.The proposed two-factor construct and belonging items by the ASQ:SE age interval

Табела 3. Предложена двофакторна структура и ставките од ASQ :SE интервал на возраст

Table 3. The proposed two-factor construct and belonging items by the ASQ:SE age interval

Анализа на потврдниот фактор

CFA-анализите беа спроведени за да се пресмета адекватноста на предложениот модел за кон податоците. Резултатите од тестирањето на адекватноста на моделот се прикажани во табела 4. Резултатите од индексите за апсолутна адекватност покажуваат дека хи-квадрат-тестовите беа значајни (p < 0,05) и за двата модели во сите временски интервали. Сепак, бидејќи тестот хи-квадрат е чувствителен за големи примероци, други индекси се сметаа како поконзервативен пристап. За GFI, моделот на еден фактор не го постигна критериумот во секој интервал (> 0,90), додека четири интервали го достигнаа овој критериум кога се применија двофакторни модели (т.е., 6-, 12-, 18- и 24-месечниот). За критериумот AGFI, пет интервали (6-, 12-, 18-, 24- и 30-месечниот) го достигнаа очекуваниот стандард (> 0,80) при примената на моделите на еден фактор, додека пак секој од осумте интервали го достигнаа стандардот за двофакторниот модел. Сите интервали го постигнаа критериумот на SRMR <0,08, а RMSEA <0,08 за двата модела, освен RMSEA за еднофакторниот модел кај интервалите од 18 и 36 месеци.

Индексите за компаративна адекватност беа применети за да се спореди адекватноста помеѓу двата модела. Прво, при споредување на вредноста хи-квадрат помеѓу вгнездените модели, двофакторниот модел презентираше подобра адекватност од моделот на еден фактор со значително намалување на вредноста хи-квадрат за секој од осумте интервали. Второ, сите интервали покажаа пониски вредности во AIC и ECVI кога беа користени двофакторни модели, покажувајќи подобри индекси на адекватност за двофакторниот модел во секој интервал.

Confirmatory Factor Analysis

CFAs were conducted to calculate the goodness-of-fit of the proposed model to the data. Model fit testing results are presented in Table 4. The results of absolute fit indices indicated that the chi-square tests were significant (p < 0.05) for both models in all intervals. However, because chi-square test is sensitive to large sample sizes, other indices were considered as a more conservative approach. For GFI, the one-factor model did not reach the criterion in each interval (> 0.90), while four intervals met this criterion, when two-factor models were applied (i.e., 6m, 12m, 18m, and 24m). For the AGFI criterion, five intervals (i.e., 6m, 12m, 18m, 24m, and 30m) matched our expected standard (> 0.80) when applying the one-factor models, while each of the eight intervals reached the standard for the two-factor model. All intervals reached the criteria of SRMR < 0.08, and RMSEA < 0.08 for both models, except RMSEA for one-factor model in 18m and 36m intervals.

Comparative fit indices were applied to compare the goodness-of-fit between two models. First, comparing the chi-square values between nested models, the two-factor model presented a better fit than the one-factor model with a significantly decrease of the chi-square values for each of the eight intervals. Secondly, all intervals presented lower values in AIC and ECVI when the two-factor models were used, showing better fit indices for the two-factor model in each interval.

Табела 4. Индикатори на анализа на потврден фактор за еднофакторни и двофакторни структури на ASQ:SE

Table 4. Indicators of the confirmatory factor analysis for one-factor and two-factor structures of the ASQ:SE

Дискусија

Discussion

Моделирањето на мерките и, особено, анализата на факторите се важни за поддршка на конструктивната валидност на оцената, користејќи математички пристапи за да се провери теоретската структура. Теоријата на ASQ:SE претпоставува дека социјалните вештини и емоционалната компетентност се различни конструкции, но многу поврзани. Социјалната компетенција се смета како серија на однесувања што му овозможуваат на лицето да има позитивен однос со други (9, 60); додека емоционалната компетентност беше сметана како лична основна способност за регулирање на сопствените емоции со цел да се постигнат личните цели (61). До денес, неколку студии ги испитувале основните конструкции на точките во ASQ:SE. Наместо тоа, поголемиот дел од студиите за валидност се фокусираа на психометричките својства, како што се идентификување на разумни гранични резултати, чувствителност и специфичност (23–29).

Интересно, Alkherainej (31) ги моделирал интервалите 36-, 48- и 60-месечниот со еднофакторна структура и CFA-анализите со индекси на прифатлива адекватност, во кој вредностите на RMSEA биле слични со нашите наоди од еднофакторните модели. Alkherainej тврди дека структурата на еден фактор што ги содржи сите ставки не е теоретски основана и предложи дополнителни анализи со користење на EFA за да се истражат други потенцијални теоретски структури. Како надоврзување на неговите наоди, нашата студија сеопфатно ја оцени факторната структура на ASQ:SE преку EFA и CFA за секој ASQ:SE-интервал, укажувајќи на теоретски базираната двофакторна структура за сите интервали.

Двете структури на ASQ:SE беа означени како Емоции и Социјалност. Корелациите помеѓу грубите резултати за овие два фактора се движат од умерени до високи низ сите интервали (на пример, r = 0,42, 0,51, 0,49, 0,65, 0,78, 0,75, 0,72, 0,80, соодветно), што ја поддржуваат конструктивната валидност на ASQ:SE, кој претпоставува високо поврзана двофакторна структура во нејзината теоретска рамка. Во оваа студија, ставките во Социјалност се чини дека се однесуваат на компетентноста за социјални вештини, како што се контакти, комуникација и адаптивни вештини. Ставките вчитани во Емоција се однесуваат на саморегулирање, самоконтрола, афект и соматските реакции, како што се „Дали вашето дете изгледа среќно?“ или „Кога ќе се возне мири, може ли Вашето дете да се смири во рок од 15 минути?“.

Моделите со фактори покажаа поголема адекватност кај помалите интервали (на пример, 6-, 12-, 18- и 24-месечниот) отколку кај постарите интервали. Можно е однесувањата што претставуваат Социјалност или Емоции полесно да се дефинираат кога децата се мали, факт што исто така се одрази со пониски корелации помеѓу конструкциите во помалите интервали. На пример, содржината на ставките во помалите интервали рефлектираат повеќе информации од набљудување и помалку родителско толкување. На пример, „Дали Вашето дете има проблем да заспие напладне или во текот на ноќта?“ (Емоции) и „Дали Вашето дете ве бара кога ќе пристапи некој странец?“(Социјалност). Спротивно на тоа, ставките во постарите интервали како што се „Дали Вашето дете се држи до Вас повеќе отколку што очекувате?“ (Емоции) и „Дали Вашето дете се др жи настрана од опасни работи?“ (Социјалност) вклучуваа повеќе учество, оценка од родителите и образложение на контекстот на ситуацијата за старателите при оценување на однесувањето на нивните деца.

Импликации

Наодите од оваа студија обезбедуват докази за конструктивната валидност на ASQ:SE. Двофакторниот структурен модел беше поддржан од страна на нашите анализи. Овие наоди може да ги подобрат знаењата за мерките и природата на социјално-емоционалната компетентност кај доенчиња и мали деца. Исто така, наодите ја поддржаа употребата на севкупната оценка поради големата корелација помеѓу конструкциите, додека двофакторната структура значи дека ASQ:SE е во состојба да открие социјална или емоционална загриженост со примена на тековната факторна класификација.

Ограничувања

Со оглед на фактот што ставките од ASQ:SE се проучувани со години и докажано е дека се ефикасни при скрининг за социјално-емоционалните проблеми кај децата, нашите напори се обидоа да ги задржат сите ставки во анализите. Сепак, ова можеби резултираше со пониски вредности кај индексите за адекватност на моделот. Покрај тоа, секој ASQ:SE елемент има опција за одговор, прашувајќи дали даденото однесување било предмет на загриженост кај родителите. Ова прашање беше исклучено од нашата анализа, бидејќи не е врз основа на Ликертовата скала, но беше вклучено како посебна опција за одговор. Сепак, ние можеби изгубивме некои информации во однос на загриженоста на родителите за тешки социо-емоционални проблеми. Освен тоа, нашиот примерок е прилично нееднаков во однос на полот (58% момчиња), што би можело да го ограничи генерализирањето на резултатите за другите популации. И на крај, факторните структури што ние ги предложивме беа засновани на податоци за примерок од САД, кои може или не може да се генералиризаат за други култури и преводи.

Measurement modeling, specifically factor analysis, is important for supporting the construct validity of an assessment using mathematical approaches to validate the theoretical structure. The theory of the ASQ:SE posited that social competence and emotional competence are distinct constructs, but highly related. Social competence is considered as a series of behaviors that allow one to have a positive relationship with others (9, 60); while emotional competence was regarded as the personal underlying ability to regulate one’s emotion to accomplish his/her goal (61). To date, few studies have examined the underlying constructs of the ASQ:SE items. Instead, the majority of validity studies focused on the psychometric properties such as identifying reasonable cutoff scores, sensitivity, and specificity (23–29).

Interestingly, Alkherainej (31) modeled the 36-, 48-, and 60-month intervals with one-factor structure and the CFAs with acceptable fit indices, in which the RMSEA value was similar to our findings of the one-factor models. Alkherainej argued that the one-factor structure containing all items was not theoretically grounded, and suggested further analyses using EFA to explore other potential theoretical structures. Adding to his findings, our study comprehensively evaluated the factorial structure of the ASQ:SE through EFA and CFA for each ASQ:SE interval, suggesting a theoretically-based two-factor structure for all intervals.

The two structures of the ASQ:SE were labeled as Emotion and Sociality. The correlations between raw scores for these two factors ranged from moderate to high across intervals (i.e., r = 0.42, 0.51, 0.49, 0.65, 0.78, 0.75, 0.72, 0.80, respectively), which support the construct validity of the ASQ:SE, which posited a highly related two-factor structure in its theoretical framework. In the present study, items in Sociality appeared to relate to social skills competence, such as interactions, communication and adaptive skills. Items loading on the Emotion tended to relate to self-regulation, self-control, affect and somatic reactions, such as “Does your child seem happy?” or “When upset, can your child calm down within 15 minutes?”.

Factor models reflected a better fit in the younger intervals (i.e., 6-, 12-, 18-, and 24-month) than in the older intervals. It is possible that the behaviors representing Sociality or Emotion are easier to define when children are young, which was also reflected with lower correlations between constructs in the younger intervals. For example, the content of items in younger intervals reflects more observational information and less parental interpretation. For example, “Does your child have trouble falling asleep at naptime or at night?” (Emotion) and “ Does your child look for you when a stranger approaches?” (Sociality). In contrast, items in the older intervals such as “Does your child cling to you more than you expect?” (Emotion) and “ Does your child stay away from dangerous things?” (Sociality) involved more parental judgment and explanation of situational contexts for caregivers when rating the behaviors.

Implications

The current findings provide evidence for the construct validity of the ASQ:SE. The two-factor structure model was supported according to our analyses. These findings may improve further understanding of the measurement and nature of social-emotional competence in infants and young children. Furthermore, the findings support use of an overall score because of the high correlations between constructs, while the two-factor construct implies that ASQ:SE is able to detect particularly social or emotional concern by applying the current factorial classification.

Limitations

Since the ASQ:SE items have been studied for years and proven to be effective in screening for children’s social-emotional problems, our efforts attempted to retain all items into the analyses. However, this might have resulted in lower values on the indices of model fit. In addition, each ASQ:SE item has a response option asking if the target behavior was of concern to parents. This question was excluded from our analysis because it was not based on a Likert scale but included a separate response option. However, we might have lost some information regarding parents’ concerns for severe social-emotional problems. Furthermore, our sample is rather skewed regarding gender (58% boys), which may limit generalizing the results to other populations. Lastly, the factorial structures we suggested were based on data for a U.S. sample, which may or may not generalize to other cultures and translations.

Заклучок

Conclusion

Резултатите од оваа студија сугерираат дека двофакторниот структурен модел (на пример, Социјалност и Емоција) е адекватен за осумте интервали на ASQ:SE, подобро од еднофакторната структура, со што и се поддржува конструктивната валидност на ASQ:SE. Идните студии може да се фокусираат на тестирање на константите за актуелните двофакторни структури со примена на различните етнички / културни населенија.

The results of this study suggested that a two-factor structure model (i.e., Sociality and Emotion) fits the eight intervals of the ASQ:SE better than a one-factor structure, supporting the construct validity of the ASQ:SE. Future studies can focus on the invariance testing for the current two-factor structures using different ethic/cultural populations.

Кратенки : ASQ:SE - Прашалници за возраст и фази, социјално-емоционална; ЕFА – aнализа на прелиминарен фактор, CFA - анализа на потврден фактор.

Abbreviations: ASQ:SE -- Ages & Stages Questionnaires: Social-Emotional, EFA -- Exploratory factor analysis, CFA -- Confirmatory factor analysis

Благодарност

Им се заблагодаруваме на големиот број семејства и деца кои учествуваа во нашите истражувања.

Acknowledgement

We acknowledge the many families and children that participated in our research studies.

Конфликт на интереси

Conflict of interests

Jane Squires изјавува дека постои конфликт на интереси како автор на ASQ:SE, кој добива надомест за објавување на ASQ:SE. Останатите тројца автори изјавуваат дека немаат финансиска поврзаност во врска со објавувањето на оваа статија и дека не постои конфликт на интереси за објавувањето. Ви благодариме за Вашиот надомест!

Jane Squires acknowledges a conflict of interest as ASQ:SE author who receives royalties for publication of the ASQ:SE. The other three authors have indicated they have no financial relationships relevant to this article to disclose and no potential conflicts of interest to disclose. Thank you for your consideration!

Citation: Chen CY, Filgueiras A, Squires J, Landeira-Fernandez J. Examining the factor structure of an early childhood social emotional screening assessment. J Spec Educ Rehab 2016; 17(3-4):89-104. doi: 10.19057/jser.2016.12

Референци/References

1. Brauner CB, Stephens BC. Estimating the prevalence of early childhood serious emotional/behavioral disorder: Challenges and recommendations. Public Health Reports 2006;121:303–310.
2. Horwitz SM, Hurlburt MS, Heneghan A, Zhang J, Rolls-Reutz J, Fisher E, et al. Mental health problems in young children investigated by US child welfare agencies. Journal of the American Academy of Child & Adolescent Psychiatry 2012; 51(6):572–581.
3. Briggs-Gowan MJ, Carter AS, Bosson-Heenan J, Guyer AE, Horwitz SM. Are infant-toddler social-emotional and behavioral problems transient? Journal of the American Academy of Child & Adolescent Psychiatry 2006; 45(7):849–858.
4. Feil EG, Walker HM, Severson HH. The early screening project for young children with behavior problems. Journal of Emotional and Behavioral Disorders 1995; 3(4):194–202.
5. Lavigne JV, Arend R, Rosenbaum D, Binns HJ, Christoffel KK, Gibbons RD. Psychiatric disorders with onset in the preschool years: II. Correlates and predictors of stable case status. Journal of the American Academy of Child & Adolescent Psychiatry 1998; 37(12):1255–1261.
6. Shaw DS, Gilliom M, Ingoldsby EM, Nagin DS. Trajectories leading to school-age conduct problems. Developmental Psychology 2003; 39(2):189–200.
7. Sprague J, Walker H. Early identification and intervention for youth with antisocial and violent behavior. Exceptional Children 2000; 66(3):367–379.
8. Denham SA. Social-emotional competence as support for school readiness: What is it and how do we assess it? Early Education and Development 2006; 17(1):57–89.
9. Jones SM, Bouffard SM. Social and emotional learning in schools: From programs to strategies. Social Policy Report 2012; 26(4):1–22.
10. Zins JE, Bloodworth MR, Weissberg RP, Walberg HJ. The scientific base linking social and emotional learning to school success. Journal of Educational and Psychological Consultation 2007; 17(2-3):191–210.
11. Reynolds AJ, Temple JA, Robertson DL, Mann EA. Age 21 cost-benefit analysis of the Title I Chicago child-parent centers. Educational Evaluation and Policy Analysis 2002; 24(4):267–303.
12. American Academy of Pediatrics. Identifying infants and young children with developmental disorders in the medical home: An alogorithm for developmental surveilance and screening. Pediatrics 2006; 118(1):405–420.
13. American Academy of Pediatrics. Developmental surveilance and screening of infants and young children. Pediatrics 2001; 108(1):192–196.
14. American Educational Research Association, American Psychological Association, National Council for Measurement in Education. Standards for educational and psychological testing Washington, DC: American Educational Research Association; 2014.
15. Kane MT. Validation. In: Brennan RL, editor. Educational measurement 4th ed. New York: American Council on Education and Macmillan; 2006.
16. Salvia J, Ysseldyke JE, Bolt S. Assessment in Special and Inclusive Education. 12th ed. Belmont, CA: Wadsworth; 2013.
17. Squires J, Bricker D, Twombly E. The Ages & Stages Questionnaires: Social-Emotional. A parent-completed, child-monitoring system for social-emotional behaviors . Baltimore: Paul H. Brookes; 2002.
18. Briggs-Gowan MJ, Carter AS, Irwin JR, Wachtel K, Cicchetti DV. The Brief Infant-Toddler Social and Emotional Assessment: screening for social-emotional problems and delays in competence. Journal of Pediatric Psychology 2004;29(2):143–155.
19. Briggs RD, Stettler EM, Silver EJ, Schrag RDA, Nayak M, Chinitz S, et al. Social-emotional screening for infants and toddlers in primary care. Pediatrics 2012; 129(2):e377-e84.
20. Carter AS, Briggs‐Gowan MJ, Davis NO. Assessment of young children's social‐emotional development and psychopathology: Recent advances and recommendations for practice. Journal of Child Psychology and Psychiatry 2004; 45(1):109-34.
21. Marks K, LaRosa A. Understanding developmental-behavioral screening measures. Pediatrics in Review 2012; 33(10):448–558.
22. Baggett KM, Warlen L, Hamilton JL, Roberts JL, Staker M. Screening infant mental health indicators: An Early Head Start initiative. Infants and Young Children 2007; 20(4):300-310.
23. Beeber LS, Holditch-Davis D, Perreira K, Schwartz TA, Lewis V, Blanchard H, et al. Short-term in-home intervention reduces depressive symptoms in Early Head Start Latina mothers of infants and toddlers. Research in Nursing and Health 2010; 33(1):60–76.
24. Bian X, Wang R, Chen C-I. Ages and Stages Questionnaires: Social Emotional-Simplified Chinese version. Shanghai, China: Shanghai Scientific and Technical Publishers; 2013.
25. Heo KH, Squires J. Cultural adaptation of a parent completed social emotional screening instrument for young children: Ages and stages questionnaire-social emotional. Early Human Development 2012; 88(3):151–158.
26. Kucuker S, Kapci EG, Uslu RI. Evaluation of the Turkish version of the "Ages and Stages Questionnaires: Social-Emotional" in identifying children with social-emotional problems. Infants and Young Children 2011; 24(2):207–220.
27. Jee SH, Conn AM, Szilagyi PG, Blumkin A, Baldwin CD, Szilagyi MA. Identification of social‐emotional problems among young children in foster care. Journal of Child Psychology and Psychiatry 2010; 51(12):1351–1358.
28. Squires J, Bricker D, Heo K, Twombly E. Identification of social-emotional problems in young children using a parent-completed screening measure. Early Childhood Research Quarterly 2001; 16(4):405–419.

29. Yovanoff P, Squires J. Determining cutoff scores on a developmental screening measure: Use of receiver operating characteristics and item response theory. Journal of Early Intervention 2006; 29(1):48–62.
30. Alkherainej K, Squires J. Accuracy of three screening instruments in identifying preschool children at risk for autism spectrum disorder. Journal of Intellectual Disability-Diagnosis and Treatment 2016; 3(4):156–163.
31. Alkherainej K. Examination of the factor structure and agreement of three questionnaires for identifying young children at risk for autism spectrum disorders [Ph.D.]. University of Oregon; 2012.
32. Denham SA. Emotional development in young children: Guilford Press; 1998.
33. Saarni C. The development of emotional competence: Guilford Press; 1999.
34. Masten AS, Coatsworth JD. Competence, resilience, and psychopathology. 1995.
35. Achenbach TM, Rescorla LA. Manual for the ASEBA preschool forms and profiles. Burlington, VT: University of Vermont, Research Center for Children, Youth, and Families; 2000.
36. Powell G, Mackrain M, LeBuffe P. Devereux early childhood assessment for infants and toddlers technical manual. Lewisville, NC: Kaplan Early Learning Corporation; 2007.
37. Carter AS, Briggs-Gowan MJ, Jones SM, Little TD. The infant-toddler social and emotional assessment (ITSEA): Factor structure, reliability, and validity. Journal of Abnormal Child Psychology 2003; 31(5):495–514.
38. U.S. Census Bureau. Educational attainment in the United Statea: 2010-Detailed tables. 2010. Available from: https://www.census.gov/hhes/ socdemo/education/data/cps/2010/tables.html.
39. U.S. Census Bureau. Overview of race and Hispanic origin: 2010. 2010. Available from:http://www.census.gov/prod/cen2010/briefs/cbr-02.pdf.
40. Achenbach TM. Manual for the Child Behavior Checklist/ 4-18 and 1991 profile. Burlington, VT: University of Vermont, Department of Psychiatry 1991.
41. Achenbach TM. Manual for the Child Behavior Checklist/ 2-3 and 1992 profile. Burlington, VT: University of Vermont, Department of Psychiatry 1992.
42. Sparrow SS, Balla DA, Cicchetti DV. Vineland Social-Emotional Early Childhood Scale (SEEC). Circle Pines, MN: American Guildance Service 1998.
43. Spies RA, Plake BS. The sixteenth mental measurement yearbook: Lincoln, NE: Buros Institute of Mental Measurement; 2005.
44. Feeney-Kettler KA, Kratochwill TR, Kaiser AP, Hemmeter ML, Kettler RJ. Screening young children’s risk for mental health problems: A review of four measures. Assessment for Effective Intervention 2010; 35(4):218–230.
45. US Department of Health Human Services. Birth to 5: Watch me thrive! A compendium of screening measures for young children: Washington, DC: Author; 2014. Available from: http://www.acf.hhs.gov/programs/ ecd/watch-me-thrive/families.
46. Vacca JJ. Review of the Ages and Stages Questionnaires: Social-Emotional. In: Plake BS, Impara JC, editors. The sixteenth mental measurements yearbook. Lincoln, NE: Buros Institute of Mental Measurements; 2005.
47. Horn JL. A rationale and test for the number of factors in factor analysis. Psychometrika 1965; 30(2):179–185.
48. Velicer WF. Determining the number of components from the matrix of partial correlations. Psychometrika 1976; 41(3):321-327.
49. Lorenzo-Seva U, Timmerman ME, Kiers HA. The Hull method for selecting the number of common factors. Multivariate Behavioral Research 2011; 46(2):340-364.
50. Lorenzo-Seva U. The weighted oblimin rotation. Psychometrika 2000; 65(3):301–318.
51. Lorenzo-Seva U, Ferrando PJ. FACTOR: A computer program to fit the exploratory factor analysis model. Behavior Research Methods 2006; 38(1):88–91.
52. Akaike H. Factor analysis and AIC. Psychometrika 1987; 52(3):317–332.
53. Browne MW, Cudeck R. Single sample cross-validation indices for covariance structures. Multivariate Behavioral Research 1989; 24(4):445–455.
54. Gefen D, Straub D, Boudreau M-C. Structural equation modeling and regression: Guidelines for research practice. Communications of the Association for Information Systems 2000; 4(1):1–78.
55. Segars AH, Grover V. Re-examining perceived ease of use and usefulness: A confirmatory factor analysis. MIS Quarterly. 1993; 517–525.
56. Hu LT, Bentler PM. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal 1999; 6(1):1–55.
57. Schreiber JB, Nora A, Stage FK, Barlow EA, King J. Reporting structural equation modeling and confirmatory factor analysis results: A review. The Journal of educational research 2006; 99(6):323–338.
58. Hooper D, Coughlan J, Mullen M. Structural equation modelling: Guidelines for determining model fit. Electronic Journal of Business Research Methods 2008; 6(1):53–60.
59. Arbuckle JL. Amos (Version 18.0) [Computer Program]. Chicago: SPSS; 2009.
60. Raver CC, Zigler EF. Social competence: An untapped dimension in evaluating Head Start's success. Early Childhood Research Quarterly 1997; 12(4):363–385.
61. Campos JJ, Mumme DL, Kermoian R, Campos RG. A functionalist perspective on the nature of emotion. Мonographs of the Society for Research in Child Development 1994; 59(2‐3):284–303.