ПОЛАГАЊЕ НА СТАНДАРДИЗИРАНИТЕ ОЦЕНУВАЊА СО ИЗБЛЕДУВАЊЕ НА НАСОЧУВАЊАТА
Еми Мари ГРИН
Универзитет Кларион
Северноцентрален универзитет, САД
|
|
PASSING STANDARDIZED ASSESSMENTS WITH FADING PROMPTS
Amy Marie GREENE
Clarion University
Northcentral University, USA
|
Примено: 27.08.2014
Прифатено: 22.10.2014
UDK: 376-056.36:37.091-27
|
|
Recived: 27.08.2014
Accepted: 22.10.2014
Original article
|
Вовед
|
|
Introduction
|
Со донесувањето на Актот за незапоставување на ниедно дете (f)ii од 2001, владата на САД укажува на тоа дека државите треба да исполнат одредени барања и да изготват оценување на ниво на држава за да оценат дали сите ученици постигнале напредок до ниво на умешност. Како резултат од НЧЛБ, членовите на Одделот за образование го воведоа пенсилванискиот систем на училишно оценување, со кого се оценува пишувањето врз основа на насочување од одредена област. Според НЧЛБ, мора да се определат мерливи годишни показатели, кои се наведени како Соодветен годишен напредок (СГН), за да бидеме сигурни дека 100% од учениците го постигнале нивото на умешност во учебната 2013-2014 година. Поддржувачите на НЧЛБ тврдат дека сите ученици, вклучувајќи ги и оние со тешкотии во учењето и со интелектуални пречки, можат да стигнат до понапредно ниво, по државните оценувања на ниво на одделение само со мали прилагодувања, како што е соодветен амбиент (1–4). Од овие ученици се очекува да ги достигнат истите нивоа како нивните врсници без пречки (4). Учениците со тешкотии во учењето и со интелектуална попреченост по природа се изложени на ризик за недостигнување на ниво на вештини поради нивните заеднички карактеристики на дефицит во областа на пресметливоста, развојот на стратегија, помнењето, саморегулирањето, мотивацијата и генерализацијата во проценките за пишување (5–7).
Вештините, на државните оценувања, како што се ПССА, се грижа на управата, на наставниците, родителите и учениците. Ако не се исполни СГН, финансирањето е намалено и вклученоста на владата е имплементирана во училиштата на различни нивоа, а зависи од тоа колку години последователно целта не е исполнета (2). Кај испитуваните членови на ИОП-подгрупата со попреченост, јасно постои голем ризик да не го достигнат нивото на вештини (8). Прашањето за изготвување начин на оценување на државно ниво, како ПССА, станува уште поважно, бидејќи некои држави не им дозволуваат на учениците што не го поминале тестот да земат диплома (9).
Иако низ историјата постоеле контроверзии меѓу когнитивниот и бихејвиоралниот пристап во наставата, НЧЛБ ги засилува за да се создаде поголем притисок. Поради НЧЛБ, наставниците треба да изнајдат поефикасни стратегии за помагање на учениците со попреченост да ги поминат оценувањата. Директното предавање за вештините преку бихејвиорални техники се смета како успешно за учениците со тешкотии во учењето и со интелектуални пречки, а тоа се должи на нивните заеднички недостатоци (10–18). Иако истражувањето покажува успех на бихејвиоралниот пристап за учениците со тешкотии во учењето и со интелектуални пречки, претставниците на когнитивниот пристап продолжуваат со критиките на сметка на бихејвиоралниот пристап поради неговата крутост (11,19).
Значителен број истражувања на учењето да се пишува во последните неколку децении се базираат на когнитивните пристапи, како што се производ, процес и развој на саморегулирачки стратегии (СРСР). Голем дел од ова истражување го спровел Graham (20) или ја повторувал својата работа. На почетокот Graham (20) имал тешкотии во спроведување на когнитивните стратегии кај учениците со тешкотии во учењето и со интелектуални пречки, коишто вклучувале дефицит во составувањето, механизмите и мотивацијата (20–23). Прегледот на 30-годишното истражување на СРСР им овозможува на истражувачите да најдат разлики во стратегиите за однесување, вештини на пишување, знаење и мотивација што доведува до тешкотии при користење на когнитивниот пристап за учениците со тешкотии во учењето и со интелектуални пречки (6). Од големиот број истражувања на СРСР, само пет експериментални или квазиекспериментални испитувања ги исполнија критериумите да бидат прифатени истражувањата, додека само девет испитувања со еден субјект беа оценети како квалитетни (24). Ниеден од истражувачите што спроведуваат истражувања на когнитивните стратегии не ја адресираше генерализацијата на овие вештини кон стандардните проценки во пишувањето.
Преку разгледување на истражувањата на когнитивниот и на бихејвиоралниот пристап, може да се утврди дека бихејвиоралниот пристап за инструкции во користењето на стратегиите може да обезбеди експлицитни упатства, наменети за наставниците за сите нивоа на процесот на пишување и претставува основна компонента во предавањето на ученици со тешкотии во учењето и со интелектуални пречи да научат да пишуваат и да се генерализираат овие вештини за да се достигне нивото на умешност на државните оценувања (7, 25). Иако не постојат други истражувања специјално адресирани на методот на избледување на насочувањата преку графички организатори (ФПГО)ii, благодарение на авторот што ја креирал оваа програма, постојат значителни истражувања на другите бихејвиорални пристапи коишто ги користат графичките организатори. Истражувачите откриле значителни придобивки во пишувањето кај учениците со тешкотии во учењето и со интелектуална попреченост измерени со точниот редослед на зборовите (ТРЗ) и стандардизираниот ТОВЛiii-3, како и одржување на овие вештини со користење на бихејвиоралниот пристап (16–18).
Според НЧЛБ, постои потреба истражувачите понатаму да ги генерализираат научените вештини за државните оценувања. Истражувачите откриле дека преку бихејвиоралниот пристап на избледување на насочувањата во графичките организатори, тројца ученици со тешкотии во учењето успеале од ниво под основното (1) да стигнат до ниво на вештини (3) на ПССА, додека двајца не го поминале оценувањето, тие постигнале напредок од под основното ниво (1) до основното (2) (26). Истражувачите откриле дека сите тие заеднички карактеристики на учениците со тешкотии во учењето и со интелектуална попреченост, треба да се адресираат со цел да се донесат оценувања на ниво на држава (27–29). Истражувачите исто така откриле дека со експлицитните упатства, како што се користат во бихејвиоралниот пристап, на учениците со тешкотии во учењето им се овозможува да го достигнат истото ниво како врсниците без пречки во развојот, да се одржат овие вештини во текот на времето и да се генерализираат на државните оценувања (30). Целта на ова квантитативно истражување е да се испитаат резултатите на ефикасноста на ПССА за проценка на упатствата за пишување со следење на ФПГО како третман за ученици со тешкотии во учењето и со интелектуална попреченост, преку споредување на архивирани преттестови, посттестови и вистинските ПССА-резултати за да го одредат постоењето на значајни разлики. Резултатите на учесниците во ПССА-оценувањето беа споредени со просечните државни ПССА-резултати за ИОП-подгрупата. Бидејќи знаењето за ефикасноста на ФПГО се збогатува, училиштата можат да ги искористат овие информации и да им помогнат на учениците да ги поминат државните оценувања на пишувањето.
|
|
Through passing No Child Left Behind Act of 2001 (NCLB), the United States Federal Government mandated that states meet certain requirements and develop state assessments to evaluate whether all students are making progress to a level of proficiency. As a result of NCLB, the members of the Pennsylvania Department of Education instituted the Pennsylvania System of School Assessment (PSSA), which evaluates writing based on prompts using a rubric. According to NCLB, measurable yearly benchmarks, which are referred to as Adequate Yearly Progress (AYP), must be set to ensure that 100% of students are performing at a level of proficient by the 2013-2014 school year. The supporters of NCLB mandate that all students, including those with learning and intellectual disabilities, perform at a level of proficient on grade level state assessments with only small group settings as an accommodation (1–4).These students are expected to meet the same cut score levels as their nondisabled grade level peers. (4) Students with learning and intellectual disabilities are by nature at risk for not meeting a level of proficient due to their common characteristics of deficits in the areas of computation, strategy development, memory, self-regulation, motivation, and generalization to state writing assessments (5–7).
Proficiency on state assessments, such as the PSSA, is a concern for administration, teachers, parents, and students. If AYP is not met funding is reduced and government involvement is instilled within the school districts at varying levels depending on the number of consecutive years the goal is not met (2). Members of the IEP subgroup who have a disability in the area being measured are clearly at a higher risk for not performing at a level of proficiency (8). The issue of passing statewide assessments, such as the PSSA, is becoming even more important since some states already do not permit students who do not pass the test to receive a diploma (9).
Although there has historically been a controversy between advocates for cognitive and behavioral approaches to teaching, NCLB has caused it to be even more pressing. Due to NCLB, teachers need to find the most effective strategy for assisting students with disabilities in passing state assessments. Directly teaching the skills through behavioral techniques has been deemed successful for students with learning and intellectual disabilities due to their common areas of deficits (10–18). Although the research has shown behavioral approaches’ successfulness for students with learning and intellectual disabilities, the advocates for cognitive approaches continue to criticize behavioral approaches for being too rigid (11, 19).
A substantial amount of research on teaching writing over the last several decades has been based on cognitive approaches, such as product, process, and Self-Regulated Strategies Development (SRSD). A large portion of this research was conducted by Graham (20) or replicated his work. Early on Graham (20) has found difficulties in implementing cognitive strategies for students with learning and intellectual disabilities, which included deficits in composition, mechanics, and motivation (20–23). A review of the 30 years of SRSD research allowed researchers to find differences in strategies behavior, writing skills, knowledge, and motivation that led to difficulties utilizing this cognitive approach for students with learning and intellectual disabilities (6). Of the quantity of research on SRSD, only five experimental or quasi-experimental designs met the criteria for being acceptable research, while only nine single-subject designs were deemed of quality (24). None of the researchers who conducted studies on cognitive strategies addressed generalization of these skills to standards-based state assessments in writing.
Through reviewing the research on both cognitive and behavioral approaches, it can be determined that a behavioral approach for instruction in the use of strategies that provide explicit, teacher-directed instruction for all levels of the writing process is an essential component in teaching students with learning and intellectual disabilities to learn to write and generalize these skills to a proficient level on state assessments (7, 25). Although there are no other studies specifically addressing Fading Prompts through Graphic Organizers method (FPGO), due to the author creating the program, there is substantial research on other behavioral approaches that utilize graphic organizers. Researchers have found significant gains in writing for students with learning and intellectual disabilities as measured by Correct Word Sequencing (CWS), and the standardized TOWL-3, and maintenance of these skills through the use of the behavioral approach(16–18).
Due to NCLB there is a need for researchers to further address generalization of learned skills to state assessments. Researchers found that through the behavioral approach of fading prompts in graphic organizers, three students with learning disabilities were able to advance from below basic (1) to a level of proficient (3) on the PSSA, while two did not pass the assessment; they did advanced from a score of below basic (1) to basic (2) (26). Researchers found that all the common characteristics of students with learning and intellectual disabilities needed to be addressed in order to assist them in passing state assessments (27–29). Researchers have also found that when explicit instruction, such as utilized in a behavioral approach, is provided to students with learning disabilities they can perform at the same level as their nondisabled peers, maintain these skills over time, and generalize these skills to state assessments (30). The purpose of this quantitative study was to examine the performance scores on the PSSA writing prompts assessment following FPGO as a treatment for students with learning and intellectual disabilities by comparing archived pretest, posttest, and actual PSSA results to determine if significant differences existed. The participants’ PSSA results were also compared to the average state PSSA results for the IEP subgroup. As more is learned about the effectiveness of FPGO, schools may use this information to assist students in passing state assessments in the area of writing.
|
Примерок и методологија
|
|
Materials and Method
|
Примерокот беше земен од мал град што се наоѓа во северозападниот дел на Пенсилванија. Примерокот вклучуваше вкупно 45 ученици на возраст од 13 до 18 години, кои беа сместени со поддршка при учење англиски, дадена од страна на ИОП-тимот во осмо и единаесетто одделение (одделенија за тестирање по ПССА) во текот на учебните 2005 – 2010 година. Примерокот ги вклучува сите ученици означени како ученици со тешкотии во учењето и пишувањето или ученици со интелектуална попреченост коишто биле изложени на ФПГО-третман, што ја претставува инклузивната група. Во текот на 2005/2006 примерокот вклучуваше 7 ученици од осмо одделение. Во текот на 2006/2007 беа вклучени 7 ученици од единаесетто одделение. Во 2007/2008 беа вклучени тројца ученици од осмо одделение и 11 ученици во единаесетто одделение. Во учебната 2008/2009 година беа вклучени 7 ученици од единаесетто одделение. Во текот на 2009/2010 година беа вклучени 10 ученици од единаесетто одделение. Демографски карактеристики на 45-те ученици: 34 ученици со тешкотии во учењето што претставува 76% и 11 со интелектуална попреченост што претставува 24%. Тринаесет од учениците беа девојчиња, додека 32 беа момчиња. Според расата, 100% од учениците беа со европско потекло, поради тоа што 99% од населението во оваа училишна област се со европско потекло.
Истражувачот користи инструкции од книгата за подготовка за ПССА-оценувањето на пишувањето и делот за оценување според ПССА, како и резултатите од архивираните преттестови, посттестови и реалните резултати од ПССА за учебните години од 2005 до 2010. Резултатите од преттестовите и посттестовите беа утврдени преку употреба на делот на ПССА како мерен инструмент да се утврди дали пишувањето на учениците беше оценето со 1 до 4. На скалата е наведено: под основно (1), основно (2), вештини (3), напредно (4), како што е усвоено во 1999 од Одделот за образование на Пенсилванија (31). Резултатот ниво на вештини или напредно ниво се смета за успешен резултат. Веродостојноста за ПССА беше проверена преку стратификуваниот коефициент алфа, мерката за стандардни грешки, мерката за условени стандардни грешки, со Rasch, со одлуката за доследност и договорот на оценувачот. Во однос на валидноста, ПССА се однесува на: (а) содржината на тестот, (б) процесот на одговарање, (в) внатрешната структура, (г) врската меѓу резултатите од тестовите и другите варијабли, (д) последиците од тестирањето (31).
Пред спроведувањето на ФПГО како третман, на учениците им беа презентирани инструкции за пишувањето од ПССА-книгата за подготовки, која вклучуваше наративни, информативни и убедливи инструкции. Секој одговор на учениците беше оценуван преку делот што се користи во рамките на ФПГО со цел да се обезбедат специфични повратни информации на учениците.
Потоа делот од ПССА беше искористен за да се изведат резултатите што се подолу од основно (1), основно (2), на ниво на вештини (3) или на напредно ниво (4). Резултатите потоа беа пријавени како основни податоци за учениците како резултат на потребата резултатите на преттестовите и посттестовите да го одразуваат истиот интрумент на проценка, како ПССА.
Потоа наставникот го искористи ФПГО како настава во училница. ФПГО обезбедува графички организатор кој содржи дваесет и пет кутии кои претставуваат пет параграфи со најмалку пет реченици во секој. Методот резултира со комплетирање на пишан одговор, кој се состои од воведен параграф, три параграфи како главен дел и завршен параграф. На учениците им беше претставен првиот чекор од ФПГО, кој содржи најексплицитен збир на инструкции. Како што учениците се запознаваат со процесот, насочувањата полека се отстрануваат и учениците се запознаваат со чекор 2 од ФПГО, со кој се отстранети имињата на параграфите, насочувањата за воведните реченици, темата и речениците за поддржување. Кога учениците ќе достигнат ниво на умеење, им се дава чекор 3 од ФПГО, каде се губат насочувањата со отстранување на сите насочувања преку зборови, и остануваат само бројки и букви. Како што вештините продолжуваат да се развиваат, на учениците им се претставува чекор 4 од ФПГО, кој им обезбедува само празни кутии.
Откако учениците ќе ги совладаат вештините, на учениците им се обезбедува три парчиња празна хартија за пишување, и од нив се очекува самостојно да развијат графички организатори со цртање на кутиите. Самостојното развивање на графички организатори е од суштинско значење, затоа што упатствата на ПССА-администрацијата не им дозволи на учениците какви било дополнителни помагала, освен празна хартија. Учениците напредуваат преку чекорите низ кои се губат насочувањата со различни брзини, но од сите ученици се очекува да достигнат ниво на умешност.
По едно насочување во пишувањето беше комплетирано неделно, за да се обезбеди паметење. Откако беа изложени на ФПГО и пред ПССА-проценката, примероци од пишаните одговори на учениците беа оценети од страна на истражувачот и уште од тројца други обучени наставници со ПССА-инструкции. Наставниците постојано го добиваа истиот резултат. Овие податоци беа пријавени како посттест-податоци. Квантитативниот дизајн беше искористен да ги тестира значајните разлики кои се појавија меѓу резултатите од проценките за пишување на ПССА, следејќи ги ФПГО за ученици со тешкотии во учењето и интелектуална попреченост. Архивираните податоци кои се користат во оваа студија, беа резултат на независната променлива, со претставување на екстра стимул од графичките организатори.
Беа користени четири дихотомии за процентни разлики за да се утврди дали се појавуваат значителни разлики во ПССА- резултатите, по имплементацијата на ФПГО. Првата дихотомија ги споредува спроведените наставнички преттестови со спроведените наставнички посттестови за периодот од учебните 2005 – 2010 година. Втората дихотомија ги споредува спроведените наставнички преттестови со реалните ПССА-резултати за да се утврди дали постојат разлики. Веродостојноста и генерализацијата на научените вештини од страна на учениците беа потоа разгледани низ дихотомијата на проценти разлики која ги спореди спроведените наставнички посттестови и реалните ПССА-резултати. Четвртата дихотомија ги спореди државните ПССА-резултати од спроведените тестови на државно ниво за учениците кои добиле ФПГО за просечното поминување или непоминување на ПССА за сите ИОП-подгрупи на целата територија на државата Пенсилванија. Веродостојноста беше пресметана на тој начин што истражувачот повторно ги пресметува податоците од преттестовите и посттестовите заедно со тројца други наставници кои, исто така, ги пресметувале резултатите и ги споредувале архивираните резултати од посттестовите со реалните ПССА-резултати. Како што е наведено, ПССА-правилата упатуваат на веродостојност преку стратификуван алфа-коефициент, стандардни грешки на мерењето, условени стандардни грешки на мерењето со Rasch, постојаност на одлуката, и оценка на договорот и валидноста, преку (а) содржината на тестот, (б) процесите на одговарање, (в) внатрешната структура, (г) врската помеѓу резултатите од тестовите и другите променливи, (д) последиците од тестирањето.
|
|
The sample population was taken from a small town located in northwestern Pennsylvania. The sample size included a total of 45 students, ranging in age from 13 to 18 years old, who were placed in the learning support English setting by the IEP team in 8th or 11th grade (PSSA testing grade levels) for the 2005-2010 school years. The sampling included all students labeled with a learning disability in writing or an intellectual disability who were exposed to FPGO treatment, which was an inclusive group. In 2005-2006, the sample included 7 students in the 8th grade. During 2006-2007, 7 students in the 11th grade were included. In 2007-2008, three 8th grade students were included and 11 students in 11th grade participated. In the 2008-2009 school year 7 students in the 11th grade were included. During the 2009-2010 school year 10 students in the 11th grade were involved. The demographic characteristics of the 45 students consisted of 34 students with a learning disability, which represents 76%, and eleven with an intellectual disability, which represents 24%. Thirteen of the students were female, while 32 were male. Racially, 100% of students were Caucasian, due to 99% of the population within the school district being Caucasian.
The researcher utilized prompts selected from the PSSA writing assessment preparation book and the PSSA scoring rubric, as well as the results of the archived pretests, posttests, and the results of the actual PSSA for the 2005-2010 school years. The pretest and posttest results were determined through the use of the PSSA rubric as a measurement instrument to determine if students’ writing was at a score of 1- 4. The scale indicated below basic (1), basic (2), proficient (3), or advanced (4), as adopted in 1999 by the members of the Pennsylvania Department of Education. (31) A score of proficient or advanced is considered a passing score. Reliability for the PSSA was addressed through a stratified coefficient alpha, standard errors of measure (SEM), conditional standard errors of measure (CSEM) with the Rasch, decision consistency, and rater agreement. In regards to validity, the PSSA addressed the following: (a) test content, (b) response processes, (c) internal structure (d) the relationship between test scores and other variables, (e) the consequences of testing. (31)
Prior to the implementation of the FPGO as a treatment, students were presented with a PSSA writing prompt that was taken from a PSSA preparation book, which included narrative, informative, and persuasive prompts. Each student’s response was evaluated through the use of the rubric that was utilized within FPGO in order to provide specific feedback to students. The PSSA rubric was then utilized to derive a score of below basic (1), basic (2), proficient (3), or advanced (4). The scores were then reported as students’ baseline data due to the need to have the pretest and posttest scores reflect the same assessment tool, as the PSSA.
The teacher then utilized FPGO as classroom instruction. FPGO provided a graphic organizer that contained twenty-five boxes representing five paragraphs with at least five sentences in each. The method results in completing a writing response that consists of an introductory paragraph, three paragraphs as the body, and a closing paragraph. Students were provided with the FPGO step 1, which contains the most explicit set of prompts. As students became familiar with the process, prompts were slowly removed and the students were presented with FPGO step 2, which removes the names of the paragraphs, the prompting for the introductory sentence, and names of the topic and supporting sentences. When students reached a level of mastery, they were given FPGO step 3, which faded the prompting by removing all prompting through words, and left only numbers and letters. As skills continued to develop, students were presented with FPGO step 4, which provided them only empty boxes.
Once mastery of the skills had been met, students were provided with three pieces of blank typing paper and were expected to develop the graphic organizer independently by drawing the boxes. Having the students create their own graphic organizers was essential due to PSSA administration guidelines not allowing students any supplemental aids other than blank paper. Students progressed through the fading prompts steps at different speeds, but all students were expected to reach a level of proficiency.
One writing prompt was completed weekly to ensure retention. After exposure to FPGO and prior to the PSSA assessment, samples of the students’ written responses were evaluated by the researcher and three other trained teachers with the PSSA rubric. The teachers consistently derived the same scores. These data were reported as posttest data. A quantitative design was used to test if significant differences occurred between performance scores on the PSSA writing assessment following FPGO for students with learning and intellectual disabilities. The archived data used in this study was the result of a manipulation of the independent variable by presenting the extra stimulus of graphic organizers.
Four dichotomies for percent differences were utilized to determine if significant differences occurred in PSSA results after the implementation of FPGO. The first dichotomy compared the teacher administered pretests to the teacher administered posttests for the 2005-2010 school years. The second dichotomy compared the teacher administered pretests to the actual PSSA results to determine if differences existed. Rater reliability and generalization of the learned skills by the students were then addressed through a dichotomy of percent differences that compared the teacher administered posttests to the actual PSSA results. The fourth dichotomy compared the PSSA state administered local results for the students that received FPGO to the average PSSA pass and non-pass rates for the entire state of Pennsylvania’s IEP subgroups. Rater reliability was addressed through having the researcher re-score pretest and posttest data at a later time, having three other teachers also score the data, and comparing the archived posttest scores to the actual PSSA scores. As indicated, the PSSA rubric addresses reliability through a stratified coefficient alpha, standard errors of measure (SEM), conditional standard errors of measure (CSEM) with the Rasch, decision consistency, and rater agreement and validity through (a) test content, (b) response processes, (c) internal structure (d) the relationship between test scores and other variables, (e) the consequences of testing. (31)
|
Резултати
Сите 45 ученици добиле резултат под нивото на нивните архивирани преттестови и резултат на умешност на нивните архивирани посттестови. Четириесет и тројца добија резултат на умешност на реалните, архивирани ПССА-проценки, додека двајца ученици добиле резултат на основно постигнување (види табела 1, за архивираните преттестови, посттестови и ПССА-резултати). Како што е наведено претходно, сигурноста и валидноста на реалните ПССА-проценки се утврдени од Одделот за образование на Пенсилванија.
|
|
Results
All 45 students received a below basic (1) on their archived pretest and a proficient (3) score on their archived posttest. Forty-three students earned a score of proficient (3) on the actual, archived PSSA assessment; while two students received a score of basic (2) (see Table 1, for archived pretest, posttest, and PSSA scores). As indicated earlier, the reliability and the validity of the actual PSSA assessment were determined by the Pennsylvania Department of Education.
|
Табела 1: Преттест, посттест, и ПССА-резултати
|
|
Table 1.Pretest, Posttest and PSSA results
|
|
Беа извршени четири дихотомии за процентните разлики. Резултатите беа пресметани со одземање на разликите во проценти помеѓу двете колони во секој ред. Резултатите од првата дихотомија за процентни разлики, кои ги споредуваа процентите на поминати и непоминати кога се споредуваат спроведените наставнички преттестови и посттестови за учениците со потешкотии во учењето и со интелектуална попреченост, кои добија ФПГО за периодот на учебните 2005 – 2010 година, резултираше со правење 100% во поминување на ПССА, или непоминување на ПССА (види табела 2, за дихотомија на процентните разлики за податоците од прет- тестовите и посттестовите).
|
|
Four dichotomies for percent differences were carried out. The results were calculated by subtracting the difference in percent between the two columns in either row. The outcomes of the first dichotomy for percent differences, which compared the percent of pass and non-pass rates when comparing the teacher administered pretests and posttests for the students with learning and intellectual disabilities that received FPGO for the 2005-2010 school years, resulted in FPGO making a 100% difference (100% - 0%=100%) in passing the PSSA, or not passing the PSSA (see Table 2, for dichotomy for percent differences for the pretest and posttest data).
|
Табела 2: Дихотомија за процентните разлики во податоците од преттестовите и посттестовите
|
|
Table 2.Dichotomy for percent differences in pretest and posttest data
|
|
Според ова, утврдено е дека ФПГО е ефективен во помагање на учениците со тешкотии во учењето и со интелектуална попреченост во поминување на државни проценки на ПССА базирани на стандардот на значајно ниво од 0.001, или 99,99% ниво на доверба. Втората дихотомија, која ги споредуваше процентите на поминати и непоминати преку споредување на спроведените наставнички преттестови со фактичката состојба на спроведените ПССА, анализите покажаа дека ФПГО направи разлика од 96% (100% - 4% = 96% и 96% - 0% = 96%) во поминување на ПССА, или не (види табела 3 за дихотомија на процентни разлики за преттестовите и ПССА- податоците).
|
|
Therefore, it was determined that FPGO was effective in assisting the students with learning and intellectual disabilities in passing the standards-based state assessment of the PSSA at a significance level of 0.001, or 99.99% confidence level. The second dichotomy, which compared the percent of pass and non-pass rates through comparing the teacher administered pretests to the actual state administered PSSA, analysis showed that FPGO made a 96% difference (100% - 4% = 96% and 96% - 0% = 96%) in passing the PSSA, or not (see Table 3, for dichotomy for percent differences for pretest and PSSA data).
|
Табела 3: Дихотомија за процентните разлики во податоците за преттестовите и ПССА-податоците
|
|
Table 3.Dichotomy for percent differences for pretests and PSSA data
|
|
Третата дихотомија, анализа на процентни разлики, се однесуваше на спроведените наставнички посттестови и ги спореди нив со реалните ПССА-резултати. Резултатите открија разлика од 4% (4% - 0% = 4% и 100% - 96% = 4%), што укажува на веродостојност и генерализација на научените вештини на учениците со реалните ПССА (види табела 4 за дихотомија на процентните разлики за посттестовите и податоците на ПССА).
|
|
The third dichotomy, percent differences analysis, addressed the teacher administered posttests and compared them to the actual state administered PSSA results. The results found a 4% difference (4% - 0%=4% and 100% - 96%=4%), which indicated rater reliability and generalization of the learned skills by the students to the actual PSSA (see Table 4, for the dichotomy for percent differences for posttest and PSSA data).
|
Табела 4:Дихотомија за процентните разлики за податоците од посттестовите и PSSA-податоците
|
|
Table 4.Dichotomy for percent differences for posttest and PSSA data
|
|
Четвртата дихотомија ги споредува државните ПССА-резултати од спроведените тестови на државно ниво кои добија ФПГО до просечна стапка на ПССА за поминување и непоминување на целата територија на државата Пенсилванија. Четвртата дихотомија резултираше во ФПГО со правење разлика од 53,8% (57,8% - 4% = 53,8% и 96% - 42,2% = 53,8%) за учениците со ИОП, што укажува на потешкотии во учењето и интелектуалната попреченост, при поминување на ПССА или не (види табела 5, за дихотомијата на процентните различности за локалните и државните ПССА-податоци).
|
|
The fourth dichotomy compared the PSSA posttest state administered local results for the students that received FPGO to the average PSSA pass and non-pass rates of the entire state of Pennsylvania. The fourth dichotomy resulted in FPGO making a 53.8% (57.8% - 4%=53.8% and 96% - 42.2%=53.8%) difference for students with IEPs, which indicates learning and intellecttual disabilities, in passing the PSSA, or not (see Table 5, for dichotomy for percent differences for local and state PSSA data).
|
Табела 5:Дихотомија за процентните разлики за податоците од локалните и државните ПССА
|
|
Table 5.Dichotomy for percent differences for the local and state PSSA data
|
|
ПССА-податоците кои беа користени за пресметување на севкупниот процент на непоминати, на целата територија на државата Пенсилванија, кога се однесува на ИОП-подгрупата беа искористени за најдобро да го одразат примерокот вклучен во оваа студија. Важно е да се укаже на тоа дека државните ИОП-подгрупи ги вклучуваат сите ученици со ИОП. Поради тоа беа вклучени ученици кои немаат дефицит во пишувањето, додека примерокот на оваа студија се однесува само на ученици од ИОП кои покажуваат дефицит од пишаното искажување. Од 188,212 ученици со ИОП во државата Пенсилванија, 57,8% не го поминаа ПССА (види табела 6, за ПССА-податоците кои беа искористени за да се пресмета вкупниот просек на оние кои не поминале).
|
|
The PSSA data that were utilized to calculate the overall non-passing percent for the entire state of Pennsylvania when addressing the IEP subgroup was utilized in order to be the most reflective of the sample addressed in this study. It is important to indicate that the state’s IEP subgroup included all students with an IEP. Therefore, students that did not have deficits in writing were included; while this study’s sample addresses only students with an IEP reflecting deficits in written expression. Of the 188.212 students with an IEP in the state of Pennsylvania, 57.8% did not pass the PSSA (see Table 6, for PSSA data utilized to calculate overall average non-passing percent).
|
Табела 6: ПССА-податоци кои се користат за пресметка на вкупниот просечен процент на неположени
|
|
Table 6. PSSA data utilized to calculate the overall average of non-passing percent
|
|
ПССА-податоците кои се користеа за да се пресмета вкупниот процент на оние кои поминале на целата територија на државата Пенсилванија, кога се однесува на ИОП-подгрупа, повторно ги објави сите ученици со ИОП, не само ученици со пречки во пишуваното изразување. Иако ова вклучуваше ученици кои немаат дефицити во пишувањето, само 42,2% положиле ПССА (види табела 7, за ПССА-податоците кои се користат за да се пресмета вкупниот просек, на оние кои положиле во проценти).
|
|
The PSSA data that were utilized to calculate the overall passing percent for the entire state of Pennsylvania when addressing the IEP subgroup, again reports all students with an IEP, not just students with disabilities in written expression. Although this included students who did not have deficits in writing, only 42.2% passed the PSSA (see Table 7, for PSSA data utilized to calculate overall average passing percent).
|
Табела 7: ПССА-податоци кои се користат за пресметка на вкупниот просечен процент на положени
|
|
Table 7. PSSA data utilized to calculate the overall average of passing percent
|
|
Врз основа на четирите дихотомии за проценти, утврдено е дека постојат значителни разлики во резултатите на изведување на ПССА-проценките за насочување во пишувањето следејќи го ФПГО-третманот за ученици со тешкотии во учењето и со интелектуална попреченост преку споредување на архивираните преттестови, посттестови и реалните ПССА-резултати. Понатаму беше утврдено дека резултатите од ФПГО се генерализираат кон ПССА.
|
|
Based on the outcomes of the four dichotomies for percent, it was determined that significant differences in performance scores on the PSSA writing prompts assessment existed following FPGO treatment for students with learning and intellectual disabilities through comparing archived pretest, posttest, and actual PSSA results. It was further determined that the outcomes of FPGO generalized to the PSSA.
|
Дискусија
|
|
Discussion
|
Иако поддржувачите на НЧЛБ ставаат голем акцент на извршувањето на ниво на умешност на државните проценки, нема студии кои се однесуваат на ефективноста на когнитивните пристапи кои ги генерализираат државните проценки, неколку студии се однесуваат на ефективноста на бихејвиоралниот пристап на државните проценки, како што се ПССА, и нема други студии кои се однесуваат на употребата на ФПГО. Ова истражување дава дополнителен увид во ефективноста на бихејвиоралниот пристап во учењето на пишување, а и се однесува на прашањето колку ефективни се овие генерализирани вештини на државните проценки, како што е ПССА. Само двајца од 45 ученици во оваа студија не ја положија ПССА. Сепак, двајцата ученици напреднаа во резултатот од под основното, со резултат на основно ниво. Исто така е важно да се напомене дека кај двајцата ученици кои не го положија ова, беше идентификувано дека имаат интелектуална попреченост. Сегашниот преглед на литературата ги исклучува овие ученици.
Главните ограничувања во рамките на оваа студија, се фокусираат околу постапките за формирање на примероци и истражувачкиот дизајн. Постапките за формирање на примерок се базираат на достапност и погодност и не вклучуваат случаен избор. Вистинскиот случаен избор не се случува, откако е основана група за тестирање врз основа на ученици кај кои се идентификувани потешкотии во учењето или интелектуални пречки и се сместени за учење со поддршка на нивната англиска настава, од ИОП-тимот и со согласност од родител. Практичноста на формирање на примерок води кон вклучување само на ученици од една училишна област, што резултираше со тоа сите ученици од примерокот да се белци. Со оглед на тоа дека ПССА се спроведуваше само со ученици од основното и средното училиште во 8 и 11 одделение, резултатите на ФПГО не биле тестирани на ученици од други одделенија.
Структурата на студијата резултираше со само еден наставник кој го имплементираше ФПГО-третманот за предавање за пишувањето. Иако со ова се контролира вредноста на третманот, што се однесува на следење на точните процедури утврдени од страна на истражувачот, ова исто води кон прашањето дали друг наставник ќе го има истиот успех со ФПГО третманот. Ќе биде корисно да се генерализираат резултатите од оваа студија на целата територијата на Пенсилванија, со цел да се зголемат СГН-училишните окрузи за усогласување со НЧЛБ. Сепак, недостатокот на случаен избор ја прави генерализацијата тешка. Споредувањето на локалните администрирани ПССА-резултати со процентите на оние кои положиле од ИОП-подгрупите на целата држава Пенсилванија, исто така доведува до споредување на учениците со тешкотии во пишувањето на локално ниво со учениците кои можеби немаат тешкотии во пишувањето во државните ИОП-подргупи.
Има и понатамошни ограничувања поради дизајнот на истражувањето. Во квазиекспериментналните дизајни на истражување, истражувачот се обидува да ги идентификува причините и последиците од контролирање на независната променлива. Иако истражувањето беше направено во опсег од неколку ПССА-истражувачки години, ограничувањето од немање на контролна група или враќање на основата како средство за споредба, ја отежнува ситуацијата да се осигураме дека независната променлива се контролира. Дизајнот на истражувањето кој не дозволува враќање на основата, се должи на фактот дека учениците автоматски ќе ги користат научените вештини за пишување, кои се развиле за време на фазата на третман.
Понатамошните студии треба да се однесуваат на ограничувањата на примероците со спроведување на поголема студија која ќе вклучува неколку училишни области од различни демографски области. Вклучувањето на поголем број училишни окрузи може да биде потребно за да се создаде стратификуван примерок за да се претстават другите етнички групи. Дополнителни студии треба да се однесуваат на ефектот од ФПГО на учениците во 7-мо, 9-то и 10-то одделение.
Понатамошните студии треба да се спроведуваат со цел да се обратат на сите структурни ограничувања, во рамките на оваа студија. Поголемите прилагодени студии треба да ја оценат ефикасноста на ФПГО-третманот кога различни наставници со различно потекло, го спроведуваат третманот. Со цел понатаму да се истражи нивото на контрола кое беше покажано кон независната променлива додека се додаваше екстра стимул на графичките организатори на инструкциите, дополнителни истражувања треба да бидат спроведени за да се одрази употребата на контролната група. Резултатите од оваа програма треба да се споредат со други стратегии за учење во пишувањето, како когнитивниот пристап кој моментално се користи.
|
|
Although the supporters of NCLB have placed a great deal of emphasis on performing at a level of proficient on state assessments, no studies address the effectiveness of cognitive approaches generalizing to state assessments, few studies have addressed the effectiveness of behavioral approaches generalizing to state assessments, such as the PSSA, and no other studies have addressed the use of FPGO. This research provides additional insight into the effectiveness of behavioral approaches to teaching writing, as well as addresses how effectively these skills generalize to state assessments, such as the PSSA. Only 2 of the 45 students in this study did not pass the PSSA. However, both students advanced from a score of below basic (1) to a score of basic (2). It is also important to indicate that the 2 students who did not pass were identified as having an intellectual disability. The current review of literature excluded these students.
The major limitations within this study focus around the sampling procedures and the research design. The sampling procedures were based on accessibility and convenience and did not include random sampling. True random sampling did not occur since the testing group was established based on students being identified with a learning or intellectual disability and placed in the learning support setting for their English instruction by the IEP team and parent consent. Convenience sampling led to including only students in one school district, which resulted in all of the students within the sample population being Caucasian. Given that the PSSA is only administered to middle and high school students in 8th and 11th grades, the results of the FPGO were not tested on any other grade levels of students.
The structure of the study resulted in only one teacher implementing FPGO treatment for teaching writing. Although this controlled for treatment fidelity, which refers to following the exact procedures specified by the researcher, this also leads to questioning whether another teacher would have the same success with FPGO. It would be beneficial to generalize the outcomes of this study to the entire state of Pennsylvania in order to increase school districts’ AYP to comply with NCLB; however, the lack of random sampling makes generalization difficult. Comparing the local state administered PSSA results to the entire state of Pennsylvania’s IEP subgroups’ non-pass and pass percent also led to comparing students with disabilities in writing at the local level to students that may not have a deficit in writing in the state’s IEP subgroup.
There were further limitations due to the research design. In the quasi-experimental research design, the researcher is attempting to identify cause and effect by controlling the independent variable. Although the research was collected over a span of several PSSA testing years, limitations of not having a control group or returning to baseline as a means of comparison make it difficult to insure that the independent variable was controlled. The research design did not allow for return to baseline due to the fact that the students would automatically utilize the learned writing skills that were developed during the treatment phase.
Further studies should address sampling limitations by conducting a larger scale study to include several school districts from other demographic areas. The inclusion of numerous school districts may also be needed to create a stratified sample to represent other ethnic groups. Additional studies should also address the effect of FPGO on students in 7th, 9th, and 10th grades.
Further studies should also be conducted to address any structural limitations within this study. Larger scaled studies should evaluate the effectiveness of FPGO treatment when different teachers with varying backgrounds implement the treatment. In order to further explore the amount of control that was exhibited over the independent variable of adding an extra stimulus of graphic organizers to the prompts, additional research should be conducted to reflect the use of a control group. The results of this program should be compared to other strategies for teaching writing, such as cognitive approaches that are currently being utilized.
|
Заклучок
Со оглед на тоа дека само двајца ученици не го положија ПССА со резултат на умешност (3), a беа идентификувани дека имаат интелектуална попреченост, дополнителни студии што ги споредуваат учениците со тешкотии во учењето наспроти учениците со интелектуална попреченост, можат да обезбедат дополнителен увид во ефективноста на оваа програма. Дополнителните истражувања исто така треба да се спроведуваат за ефективноста на ФПГО-третманот со ученици кои немаат попречености. Врз основа на резултатите од оваа студија, што укажува на тоа дека ФПГО-третманот води кон значајни разлики помеѓу остварените резултати на ПССА-проценките за пишување за ученици со потешкотии во учењето и интелектуална попреченост, е високо препорачливо овој програм да се користи барем за ученици со тешкотии во учењето и интелектуална попреченост, додека не биде направена понатамошна студија.
|
|
Conclusion
Given that the only two students who did not pass the PSSA with a score of proficient (3) were identified as having intellectual disabilities, additional studies that compare students with learning disabilities versus students with intellectual disabilities may provide further insight into the effectiveness of the program. Additional research should also be conducted on the effectiveness of FPGO treatment with students who do not have disabilities. Based on the outcomes of this study, which indicate that FPGO treatment led to significant differences between performance scores on the PSSA writing assessment for students with learning and intellectual disabilities, it is highly recommended that this program be utilized at least for students with learning and intellectual disabilities until further research can be done.
|
Конфликт на интереси
Авторот изјавува дека нема конфликт на интереси.
|
|
Conflict of interests
Author declare that have no conflict of interests.
|
iiNo Child Left Behind Act (NCLB)
iiiFPGO - Fading Prompts through Graphic Organizers
Citation: Greene AM. Passing standardized assessments with fading prompts. J Spec Educ Rehab 2015; 16(1-2): 68-84. doi: 10.1515/JSER-2015-0005
|
|
|
Article Level Metrics
|
|
|
Литература/References
|
|
|
-
No Child Left Behind Act of 2001, Pub. L. No. 107-110, § 115, Stat. 1425 (2002).
-
Yell ML. The law and special education. Upper Saddle River, NJ: Prentice Hall; 2006.
-
PSSA Coach. New York, NY: Triumph Learning; 2007.
-
Pennsylvania Department of Education. Accommodations guidelines: PSSA [online]. 2010 [cited 2011 Mar 1]. Retrieved from: URL:http://www. education.state.pa.us/
-
Eisenmajer N, Ross N, Pratt C. Specificity and Characteristics of learning disabilities. Journal of Child Psychology 2005; 46(10):1108–1115.
-
Graham S, Harris KR. Almost 30 years of writing research: making sense of it all with the wrath of khan. Learning Disabilities Research & Practice 2009; 24(2):58–68.
-
Hallahan DP, Kauffman JM. Exceptional learners: An introduction to special education. Boston, MA: Pearson; 2006.
-
Swain KD. Students with disabilities meeting the challenge of high-stakes writing assessments. Education 2006; 4(126):660–665.
-
Yell ML, Katsiyannas A, Shiner JG. The no child left behind act, adequate yearly progress, and students with disabilities. Teaching Exceptional Children 2006; 4(38):32–39.
-
Ganz J, Flores M. The effectiveness of direct instruction for teaching language to children with autism spectrum disorder: Identifying materials. Journal of Autism and Developmental Disorders 2009;39:75−83.
-
Hang-Li Z. Investigation and analysis of current writing teaching mode among English majors in normal universities in China. US-China Education Review 2010; 8(7):22–27.
-
Kauffman JM, Hallahan DP. Special education: What it is and why we need it. Boston, MA: Pearson; 2005.
-
Martella R, Waldron-Soler K. Language for writing program evaluation. Journal of Direct Instruction 2005; 5(1):81–96.
-
Stebbins LB, Pierre RG, Proper EC, Anderson RB, Cerva TR. Education as experimentation: A planned variation model. Cambridge: Abt Associative; 1977.
-
Vitale M, Joseph B. Broadening the institutional value of direct instruction implemented in a low-SES elementary school: Implications for scale-up and school reform formal. Journal of Direct Instruction 2008; 8(1):1–18.
-
Walker BD, Shippen ME, Alberto P, Houchins DE, Cihak DF. Using the expressive writing program to improve the writing skills of high school students with learning disabilities. Learning Disabilities Research & Practice 2005; 3(20);175–183.
-
Walker BD, Shippen ME, Alberto P, Houchins DE, Cihak DF. Using the expressive writing program to improve the writing skills of high school students with learning disabilities. Journal of Direct Instruction 2006; 6(1):35–47.
|
|
-
Walker BD, Shippen ME, Houchins DE, Cihak DF. Improving the writing skills of high school students with learning disabilities using the expressive writing program. International Journal of Special Education 2007; 2(22):66–76.
-
Yi Y. Toward an eclectic framework for teaching EFL writing in a chinese context. US-China Education Review 2010; 3(7):29–33.
-
Graham S. The role of production factors in learning disabled students’ composition. Journal of Educational Psychology 1990; 82:781–791.
-
Graham S, Harris KR, MacArthur C, Schwartz S. Writing and writing instruction with participants with learning disabilities: A review of a program of research. Learning Disabilities Quarterly 1991; 14:89–114.
-
Morris NT, Crump DT. Syntactic and vocabulary development in the written language of learning disabled and non-disabled participants at four age levels. Learning Disabilities Quarterly 1982; 5:63–172.
-
Thomas C, Englert C, Gregg S. An analysis of errors and strategies in the expository writing of learning disabled participants. Remedial and Special Education 1987; 8(46):21–30.
-
Baker SK, Chard DJ, Ketterlin-Geller LR, Apichatabutra C, Doabler C. Teaching writing to at-risk students: The quality of evidence for self-regulated strategy development. Exceptional Children 2009; 3(75):303–319.
-
Troia G, Graham S. The effectiveness of a highly explicit, teacher-directed strategy instruction routine: Changing the writing performance of participants with learning disabilities. Journal of Learning Disabilities 2002; 35:290–305.
-
Deatline-Buchman A, Jitendra AK. Enhancing argumentative essay writing of fourth-grade students with learning disabilities. Learning Disabilities Quarterly 2006; (29): 39–54.
-
Garcia-Sanchez JN, Fidalgo-Redondo R. Effects of two types of self-regulatory instruction programs on students with learning disabilities in writing products, processes, and self-efficacy. Learning Disabilities Quarterly 2006; 3(29):181–211.
-
Graham S, Perin D. A meta-analysis of writing instruction for adolescent students. Journal of Educational Psychology 2007; 99:445–476.
-
Monroe BW, Troia GA. Teaching writing strategies to middle school students with disabilities. Journal of Educational Research 2006; 1(100):21–33.
-
Schumaker JB, Deshler DD. Adolescents with learning disabilities as writers: Are we selling them short? Learning Disabilities Research & Practice 2009; 24(2):81–92.
-
Pennsylvania Department of Education. The 2009 PSSA writing state level proficiency results. [online] 2009 [cited 2010 June 1] Retrieved from: URL:http://www.education. state.pa.us/
|